test/evp_test.c

   1 /*
   2  * Copyright 2015-2017 The OpenSSL Project Authors. All Rights Reserved.
   3  *
   4  * Licensed under the OpenSSL license (the "License").  You may not use
   5  * this file except in compliance with the License.  You can obtain a copy
   6  * in the file LICENSE in the source distribution or at
   7  * https://www.openssl.org/source/license.html
   8  */
   9
  10 #include <stdio.h>
  11 #include <string.h>
  12 #include <stdlib.h>
  13 #include <ctype.h>
  14 #include <openssl/evp.h>
  15 #include <openssl/pem.h>
  16 #include <openssl/err.h>
  17 #include <openssl/x509v3.h>
  18 #include <openssl/pkcs12.h>
  19 #include <openssl/kdf.h>
  20 #include "internal/numbers.h"
  21 #include "testutil.h"
  22 #include "evp_test.h"
  23
  24
  25 typedef struct evp_test_method_st EVP_TEST_METHOD;
  26
  27 /*
  28  * Structure holding test information
  29  */
  30 typedef struct evp_test_st {
  31     BIO *in;                      /* file being read */
  32     int line;                     /* current line being processed */
  33     int start_line;               /* start line of current test */
  34     int ntests;                   /* Number of tests */
  35     int errors;                   /* Error count */
  36     int skip;                     /* Current test should be skipped */
  37     int nskip;                    /* Number of tests skipped */
  38     char buf[10240];              /* Input buffer */
  39     BIO *key;                     /* temp memory BIO for reading in keys */
  40     const EVP_TEST_METHOD *meth;  /* method for this test */
  41     const char *err, *aux_err;    /* Error string for test */
  42     char *expected_err;           /* Expected error value of test */
  43     char *func;                   /* Expected error function string */
  44     char *reason;                 /* Expected error reason string */
  45     void *data;                   /* test specific data */
  46 } EVP_TEST;
  47
  48 /*
  49  * Test method structure
  50  */
  51 struct evp_test_method_st {
  52     /* Name of test as it appears in file */
  53     const char *name;
  54     /* Initialise test for "alg" */
  55     int (*init) (EVP_TEST * t, const char *alg);
  56     /* Clean up method */
  57     void (*cleanup) (EVP_TEST * t);
  58     /* Test specific name value pair processing */
  59     int (*parse) (EVP_TEST * t, const char *name, const char *value);
  60     /* Run the test itself */
  61     int (*run_test) (EVP_TEST * t);
  62 };
  63
  64
  65 /*
  66  * Linked list of named keys.
  67  */
  68 typedef struct key_list_st {
  69     char *name;
  70     EVP_PKEY *key;
  71     struct key_list_st *next;
  72 } KEY_LIST;
  73
  74 /*
  75  * List of public and private keys
  76  */
  77 static KEY_LIST *private_keys;
  78 static KEY_LIST *public_keys;
  79 static int find_key(EVP_PKEY **ppk, const char *name, KEY_LIST *lst);
  80
  81 static int parse_bin(const char *value, unsigned char **buf, size_t *buflen);
  82
  83 static const char *current_test_file = "???";
  84
  85 /*
  86  * Structure used to hold a list of blocks of memory to test
  87  * calls to "update" like functions.
  88  */
  89 struct evp_test_buffer_st {
  90     unsigned char *buf;
  91     size_t buflen;
  92     size_t count;
  93     int count_set;
  94 };
  95
  96 static void evp_test_buffer_free(EVP_TEST_BUFFER *db)
  97 {
  98     if (db != NULL) {
  99         OPENSSL_free(db->buf);
 100         OPENSSL_free(db);
 101     }
 102 }
 103
 104 /*
 105  * append buffer to a list
 106  */
 107 static int evp_test_buffer_append(const char *value,
 108                                   STACK_OF(EVP_TEST_BUFFER) **sk)
 109 {
 110     EVP_TEST_BUFFER *db = NULL;
 111
 112     if (!TEST_ptr(db = OPENSSL_malloc(sizeof(*db))))
 113         goto err;
 114
 115     if (!parse_bin(value, &db->buf, &db->buflen))
 116         goto err;
 117     db->count = 1;
 118     db->count_set = 0;
 119
 120     if (*sk == NULL && !TEST_ptr(*sk = sk_EVP_TEST_BUFFER_new_null()))
 121         goto err;
 122     if (!sk_EVP_TEST_BUFFER_push(*sk, db))
 123         goto err;
 124
 125     return 1;
 126
 127 err:
 128     evp_test_buffer_free(db);
 129     return 0;
 130 }
 131
 132 /*
 133  * replace last buffer in list with copies of itself
 134  */
 135 static int evp_test_buffer_ncopy(const char *value,
 136                                  STACK_OF(EVP_TEST_BUFFER) *sk)
 137 {
 138     EVP_TEST_BUFFER *db;
 139     unsigned char *tbuf, *p;
 140     size_t tbuflen;
 141     int ncopy = atoi(value);
 142     int i;
 143
 144     if (ncopy <= 0)
 145         return 0;
 146     if (sk == NULL || sk_EVP_TEST_BUFFER_num(sk) == 0)
 147         return 0;
 148     db = sk_EVP_TEST_BUFFER_value(sk, sk_EVP_TEST_BUFFER_num(sk) - 1);
 149
 150     tbuflen = db->buflen * ncopy;
 151     if (!TEST_ptr(tbuf = OPENSSL_malloc(tbuflen)))
 152         return 0;
 153     for (i = 0, p = tbuf; i < ncopy; i++, p += db->buflen)
 154         memcpy(p, db->buf, db->buflen);
 155
 156     OPENSSL_free(db->buf);
 157     db->buf = tbuf;
 158     db->buflen = tbuflen;
 159     return 1;
 160 }
 161
 162 /*
 163  * set repeat count for last buffer in list
 164  */
 165 static int evp_test_buffer_set_count(const char *value,
 166                                      STACK_OF(EVP_TEST_BUFFER) *sk)
 167 {
 168     EVP_TEST_BUFFER *db;
 169     int count = atoi(value);
 170
 171     if (count <= 0)
 172         return 0;
 173
 174     if (sk == NULL || sk_EVP_TEST_BUFFER_num(sk) == 0)
 175         return 0;
 176
 177     db = sk_EVP_TEST_BUFFER_value(sk, sk_EVP_TEST_BUFFER_num(sk) - 1);
 178     if (db->count_set != 0)
 179         return 0;
 180
 181     db->count = (size_t)count;
 182     db->count_set = 1;
 183     return 1;
 184 }
 185
 186 /*
 187  * call "fn" with each element of the list in turn
 188  */
 189 static int evp_test_buffer_do(STACK_OF(EVP_TEST_BUFFER) *sk,
 190                               int (*fn)(void *ctx,
 191                                         const unsigned char *buf,
 192                                         size_t buflen),
 193                               void *ctx)
 194 {
 195     int i;
 196
 197     for (i = 0; i < sk_EVP_TEST_BUFFER_num(sk); i++) {
 198         EVP_TEST_BUFFER *tb = sk_EVP_TEST_BUFFER_value(sk, i);
 199         size_t j;
 200
 201         for (j = 0; j < tb->count; j++) {
 202             if (fn(ctx, tb->buf, tb->buflen) <= 0)
 203                 return 0;
 204         }
 205     }
 206     return 1;
 207 }
 208
 209 static int compare_mem(unsigned char *expected, size_t expected_len,
 210                        unsigned char *got, size_t  got_len)
 211 {
 212     if (!TEST_mem_eq(expected, expected_len, got, got_len))
 213         return 0;
 214     return 1;
 215 }
 216
 217 /*
 218  * Unescape some sequences in string literals (only \n for now).
 219  * Return an allocated buffer, set |out_len|.  If |input_len|
 220  * is zero, get an empty buffer but set length to zero.
 221  */
 222 static unsigned char* unescape(const char *input, size_t input_len,
 223                                size_t *out_len)
 224 {
 225     unsigned char *ret, *p;
 226     size_t i;
 227
 228     if (input_len == 0) {
 229         *out_len = 0;
 230         return OPENSSL_zalloc(1);
 231     }
 232
 233     /* Escaping is non-expanding; over-allocate original size for simplicity. */
 234     if (!TEST_ptr(ret = p = OPENSSL_malloc(input_len)))
 235         return NULL;
 236
 237     for (i = 0; i < input_len; i++) {
 238         if (*input == '\\') {
 239             if (i == input_len - 1 || *++input != 'n') {
 240                 TEST_error("Bad escape sequence in file");
 241                 goto err;
 242             }
 243             *p++ = '\n';
 244             i++;
 245             input++;
 246         } else {
 247             *p++ = *input++;
 248         }
 249     }
 250
 251     *out_len = p - ret;
 252     return ret;
 253
 254  err:
 255     OPENSSL_free(ret);
 256     return NULL;
 257 }
 258
 259 /*
 260  * For a hex string "value" convert to a binary allocated buffer.
 261  * Return 1 on success or 0 on failure.
 262  */
 263 static int parse_bin(const char *value, unsigned char **buf, size_t *buflen)
 264 {
 265     long len;
 266
 267     /* Check for NULL literal */
 268     if (strcmp(value, "NULL") == 0) {
 269         *buf = NULL;
 270         *buflen = 0;
 271         return 1;
 272     }
 273
 274     /* Check for empty value */
 275     if (*value == '\0') {
 276         /*
 277          * Don't return NULL for zero length buffer. This is needed for
 278          * some tests with empty keys: HMAC_Init_ex() expects a non-NULL key
 279          * buffer even if the key length is 0, in order to detect key reset.
 280          */
 281         *buf = OPENSSL_malloc(1);
 282         if (*buf == NULL)
 283             return 0;
 284         **buf = 0;
 285         *buflen = 0;
 286         return 1;
 287     }
 288
 289     /* Check for string literal */
 290     if (value[0] == '"') {
 291         size_t vlen = strlen(++value);
 292
 293         if (vlen == 0 || value[vlen - 1] != '"')
 294             return 0;
 295         vlen--;
 296         *buf = unescape(value, vlen, buflen);
 297         return *buf == NULL ? 0 : 1;
 298     }
 299
 300     /* Otherwise assume as hex literal and convert it to binary buffer */
 301     if (!TEST_ptr(*buf = OPENSSL_hexstr2buf(value, &len))) {
 302         TEST_info("Can't convert %s", value);
 303         ERR_print_errors(bio_err);
 304         return -1;
 305     }
 306     /* Size of input buffer means we'll never overflow */
 307     *buflen = len;
 308     return 1;
 309 }
 310
 311
 312 /**
 313 ***  MESSAGE DIGEST TESTS
 314 **/
 315
 316 typedef struct digest_data_st {
 317     /* Digest this test is for */
 318     const EVP_MD *digest;
 319     /* Input to digest */
 320     STACK_OF(EVP_TEST_BUFFER) *input;
 321     /* Expected output */
 322     unsigned char *output;
 323     size_t output_len;
 324 } DIGEST_DATA;
 325
 326 static int digest_test_init(EVP_TEST *t, const char *alg)
 327 {
 328     DIGEST_DATA *mdat;
 329     const EVP_MD *digest;
 330
 331     if ((digest = EVP_get_digestbyname(alg)) == NULL) {
 332         /* If alg has an OID assume disabled algorithm */
 333         if (OBJ_sn2nid(alg) != NID_undef || OBJ_ln2nid(alg) != NID_undef) {
 334             t->skip = 1;
 335             return 1;
 336         }
 337         return 0;
 338     }
 339     if (!TEST_ptr(mdat = OPENSSL_zalloc(sizeof(*mdat))))
 340         return 0;
 341     t->data = mdat;
 342     mdat->digest = digest;
 343     return 1;
 344 }
 345
 346 static void digest_test_cleanup(EVP_TEST *t)
 347 {
 348     DIGEST_DATA *mdat = t->data;
 349
 350     sk_EVP_TEST_BUFFER_pop_free(mdat->input, evp_test_buffer_free);
 351     OPENSSL_free(mdat->output);
 352 }
 353
 354 static int digest_test_parse(EVP_TEST *t,
 355                              const char *keyword, const char *value)
 356 {
 357     DIGEST_DATA *mdata = t->data;
 358
 359     if (strcmp(keyword, "Input") == 0)
 360         return evp_test_buffer_append(value, &mdata->input);
 361     if (strcmp(keyword, "Output") == 0)
 362         return parse_bin(value, &mdata->output, &mdata->output_len);
 363     if (strcmp(keyword, "Count") == 0)
 364         return evp_test_buffer_set_count(value, mdata->input);
 365     if (strcmp(keyword, "Ncopy") == 0)
 366         return evp_test_buffer_ncopy(value, mdata->input);
 367     return 0;
 368 }
 369
 370 static int digest_update_fn(void *ctx, const unsigned char *buf, size_t buflen)
 371 {
 372     return EVP_DigestUpdate(ctx, buf, buflen);
 373 }
 374
 375 static int digest_test_run(EVP_TEST *t)
 376 {
 377     DIGEST_DATA *mdata = t->data;
 378     EVP_MD_CTX *mctx;
 379     unsigned char md[EVP_MAX_MD_SIZE];
 380     unsigned int md_len;
 381
 382     t->err = "TEST_FAILURE";
 383     if (!TEST_ptr(mctx = EVP_MD_CTX_new()))
 384         goto err;
 385
 386     if (!EVP_DigestInit_ex(mctx, mdata->digest, NULL)) {
 387         t->err = "DIGESTINIT_ERROR";
 388         goto err;
 389     }
 390     if (!evp_test_buffer_do(mdata->input, digest_update_fn, mctx)) {
 391         t->err = "DIGESTUPDATE_ERROR";
 392         goto err;
 393     }
 394
 395     if (!EVP_DigestFinal(mctx, md, &md_len)) {
 396         t->err = "DIGESTFINAL_ERROR";
 397         goto err;
 398     }
 399     if (md_len != mdata->output_len) {
 400         t->err = "DIGEST_LENGTH_MISMATCH";
 401         goto err;
 402     }
 403     if (!compare_mem(mdata->output, mdata->output_len, md, md_len)) {
 404         t->err = "DIGEST_MISMATCH";
 405         goto err;
 406     }
 407     t->err = NULL;
 408
 409  err:
 410     EVP_MD_CTX_free(mctx);
 411     return 1;
 412 }
 413
 414 static const EVP_TEST_METHOD digest_test_method = {
 415     "Digest",
 416     digest_test_init,
 417     digest_test_cleanup,
 418     digest_test_parse,
 419     digest_test_run
 420 };
 421
 422
 423 /**
 424 ***  CIPHER TESTS
 425 **/
 426
 427 typedef struct cipher_data_st {
 428     const EVP_CIPHER *cipher;
 429     int enc;
 430     /* EVP_CIPH_GCM_MODE, EVP_CIPH_CCM_MODE or EVP_CIPH_OCB_MODE if AEAD */
 431     int aead;
 432     unsigned char *key;
 433     size_t key_len;
 434     unsigned char *iv;
 435     size_t iv_len;
 436     unsigned char *plaintext;
 437     size_t plaintext_len;
 438     unsigned char *ciphertext;
 439     size_t ciphertext_len;
 440     /* GCM, CCM only */
 441     unsigned char *aad;
 442     size_t aad_len;
 443     unsigned char *tag;
 444     size_t tag_len;
 445 } CIPHER_DATA;
 446
 447 static int cipher_test_init(EVP_TEST *t, const char *alg)
 448 {
 449     const EVP_CIPHER *cipher;
 450     CIPHER_DATA *cdat;
 451     int m;
 452
 453     if ((cipher = EVP_get_cipherbyname(alg)) == NULL) {
 454         /* If alg has an OID assume disabled algorithm */
 455         if (OBJ_sn2nid(alg) != NID_undef || OBJ_ln2nid(alg) != NID_undef) {
 456             t->skip = 1;
 457             return 1;
 458         }
 459         return 0;
 460     }
 461     cdat = OPENSSL_zalloc(sizeof(*cdat));
 462     cdat->cipher = cipher;
 463     cdat->enc = -1;
 464     m = EVP_CIPHER_mode(cipher);
 465     if (m == EVP_CIPH_GCM_MODE
 466             || m == EVP_CIPH_OCB_MODE
 467             || m == EVP_CIPH_CCM_MODE)
 468         cdat->aead = EVP_CIPHER_mode(cipher);
 469     else if (EVP_CIPHER_flags(cipher) & EVP_CIPH_FLAG_AEAD_CIPHER)
 470         cdat->aead = -1;
 471     else
 472         cdat->aead = 0;
 473
 474     t->data = cdat;
 475     return 1;
 476 }
 477
 478 static void cipher_test_cleanup(EVP_TEST *t)
 479 {
 480     CIPHER_DATA *cdat = t->data;
 481
 482     OPENSSL_free(cdat->key);
 483     OPENSSL_free(cdat->iv);
 484     OPENSSL_free(cdat->ciphertext);
 485     OPENSSL_free(cdat->plaintext);
 486     OPENSSL_free(cdat->aad);
 487     OPENSSL_free(cdat->tag);
 488 }
 489
 490 static int cipher_test_parse(EVP_TEST *t, const char *keyword,
 491                              const char *value)
 492 {
 493     CIPHER_DATA *cdat = t->data;
 494
 495     if (strcmp(keyword, "Key") == 0)
 496         return parse_bin(value, &cdat->key, &cdat->key_len);
 497     if (strcmp(keyword, "IV") == 0)
 498         return parse_bin(value, &cdat->iv, &cdat->iv_len);
 499     if (strcmp(keyword, "Plaintext") == 0)
 500         return parse_bin(value, &cdat->plaintext, &cdat->plaintext_len);
 501     if (strcmp(keyword, "Ciphertext") == 0)
 502         return parse_bin(value, &cdat->ciphertext, &cdat->ciphertext_len);
 503     if (cdat->aead) {
 504         if (strcmp(keyword, "AAD") == 0)
 505             return parse_bin(value, &cdat->aad, &cdat->aad_len);
 506         if (strcmp(keyword, "Tag") == 0)
 507             return parse_bin(value, &cdat->tag, &cdat->tag_len);
 508     }
 509
 510     if (strcmp(keyword, "Operation") == 0) {
 511         if (strcmp(value, "ENCRYPT") == 0)
 512             cdat->enc = 1;
 513         else if (strcmp(value, "DECRYPT") == 0)
 514             cdat->enc = 0;
 515         else
 516             return 0;
 517         return 1;
 518     }
 519     return 0;
 520 }
 521
 522 static int cipher_test_enc(EVP_TEST *t, int enc,
 523                            size_t out_misalign, size_t inp_misalign, int frag)
 524 {
 525     CIPHER_DATA *cdat = t->data;
 526     unsigned char *in, *out, *tmp = NULL;
 527     size_t in_len, out_len, donelen = 0;
 528     int ok = 0, tmplen, chunklen, tmpflen;
 529     EVP_CIPHER_CTX *ctx = NULL;
 530
 531     t->err = "TEST_FAILURE";
 532     if (!TEST_ptr(ctx = EVP_CIPHER_CTX_new()))
 533         goto err;
 534     EVP_CIPHER_CTX_set_flags(ctx, EVP_CIPHER_CTX_FLAG_WRAP_ALLOW);
 535     if (enc) {
 536         in = cdat->plaintext;
 537         in_len = cdat->plaintext_len;
 538         out = cdat->ciphertext;
 539         out_len = cdat->ciphertext_len;
 540     } else {
 541         in = cdat->ciphertext;
 542         in_len = cdat->ciphertext_len;
 543         out = cdat->plaintext;
 544         out_len = cdat->plaintext_len;
 545     }
 546     if (inp_misalign == (size_t)-1) {
 547         /*
 548          * Exercise in-place encryption
 549          */
 550         tmp = OPENSSL_malloc(out_misalign + in_len + 2 * EVP_MAX_BLOCK_LENGTH);
 551         if (!tmp)
 552             goto err;
 553         in = memcpy(tmp + out_misalign, in, in_len);
 554     } else {
 555         inp_misalign += 16 - ((out_misalign + in_len) & 15);
 556         /*
 557          * 'tmp' will store both output and copy of input. We make the copy
 558          * of input to specifically aligned part of 'tmp'. So we just
 559          * figured out how much padding would ensure the required alignment,
 560          * now we allocate extended buffer and finally copy the input just
 561          * past inp_misalign in expression below. Output will be written
 562          * past out_misalign...
 563          */
 564         tmp = OPENSSL_malloc(out_misalign + in_len + 2 * EVP_MAX_BLOCK_LENGTH +
 565                              inp_misalign + in_len);
 566         if (!tmp)
 567             goto err;
 568         in = memcpy(tmp + out_misalign + in_len + 2 * EVP_MAX_BLOCK_LENGTH +
 569                     inp_misalign, in, in_len);
 570     }
 571     if (!EVP_CipherInit_ex(ctx, cdat->cipher, NULL, NULL, NULL, enc)) {
 572         t->err = "CIPHERINIT_ERROR";
 573         goto err;
 574     }
 575     if (cdat->iv) {
 576         if (cdat->aead) {
 577             if (!EVP_CIPHER_CTX_ctrl(ctx, EVP_CTRL_AEAD_SET_IVLEN,
 578                                      cdat->iv_len, 0)) {
 579                 t->err = "INVALID_IV_LENGTH";
 580                 goto err;
 581             }
 582         } else if (cdat->iv_len != (size_t)EVP_CIPHER_CTX_iv_length(ctx)) {
 583             t->err = "INVALID_IV_LENGTH";
 584             goto err;
 585         }
 586     }
 587     if (cdat->aead) {
 588         unsigned char *tag;
 589         /*
 590          * If encrypting or OCB just set tag length initially, otherwise
 591          * set tag length and value.
 592          */
 593         if (enc || cdat->aead == EVP_CIPH_OCB_MODE) {
 594             t->err = "TAG_LENGTH_SET_ERROR";
 595             tag = NULL;
 596         } else {
 597             t->err = "TAG_SET_ERROR";
 598             tag = cdat->tag;
 599         }
 600         if (tag || cdat->aead != EVP_CIPH_GCM_MODE) {
 601             if (!EVP_CIPHER_CTX_ctrl(ctx, EVP_CTRL_AEAD_SET_TAG,
 602                                      cdat->tag_len, tag))
 603                 goto err;
 604         }
 605     }
 606
 607     if (!EVP_CIPHER_CTX_set_key_length(ctx, cdat->key_len)) {
 608         t->err = "INVALID_KEY_LENGTH";
 609         goto err;
 610     }
 611     if (!EVP_CipherInit_ex(ctx, NULL, NULL, cdat->key, cdat->iv, -1)) {
 612         t->err = "KEY_SET_ERROR";
 613         goto err;
 614     }
 615
 616     if (!enc && cdat->aead == EVP_CIPH_OCB_MODE) {
 617         if (!EVP_CIPHER_CTX_ctrl(ctx, EVP_CTRL_AEAD_SET_TAG,
 618                                  cdat->tag_len, cdat->tag)) {
 619             t->err = "TAG_SET_ERROR";
 620             goto err;
 621         }
 622     }
 623
 624     if (cdat->aead == EVP_CIPH_CCM_MODE) {
 625         if (!EVP_CipherUpdate(ctx, NULL, &tmplen, NULL, out_len)) {
 626             t->err = "CCM_PLAINTEXT_LENGTH_SET_ERROR";
 627             goto err;
 628         }
 629     }
 630     if (cdat->aad) {
 631         t->err = "AAD_SET_ERROR";
 632         if (!frag) {
 633             if (!EVP_CipherUpdate(ctx, NULL, &chunklen, cdat->aad,
 634                                   cdat->aad_len))
 635                 goto err;
 636         } else {
 637             /*
 638              * Supply the AAD in chunks less than the block size where possible
 639              */
 640             if (cdat->aad_len > 0) {
 641                 if (!EVP_CipherUpdate(ctx, NULL, &chunklen, cdat->aad, 1))
 642                     goto err;
 643                 donelen++;
 644             }
 645             if (cdat->aad_len > 2) {
 646                 if (!EVP_CipherUpdate(ctx, NULL, &chunklen, cdat->aad + donelen,
 647                                       cdat->aad_len - 2))
 648                     goto err;
 649                 donelen += cdat->aad_len - 2;
 650             }
 651             if (cdat->aad_len > 1
 652                     && !EVP_CipherUpdate(ctx, NULL, &chunklen,
 653                                          cdat->aad + donelen, 1))
 654                 goto err;
 655         }
 656     }
 657     EVP_CIPHER_CTX_set_padding(ctx, 0);
 658     t->err = "CIPHERUPDATE_ERROR";
 659     tmplen = 0;
 660     if (!frag) {
 661         /* We supply the data all in one go */
 662         if (!EVP_CipherUpdate(ctx, tmp + out_misalign, &tmplen, in, in_len))
 663             goto err;
 664     } else {
 665         /* Supply the data in chunks less than the block size where possible */
 666         if (in_len > 0) {
 667             if (!EVP_CipherUpdate(ctx, tmp + out_misalign, &chunklen, in, 1))
 668                 goto err;
 669             tmplen += chunklen;
 670             in++;
 671             in_len--;
 672         }
 673         if (in_len > 1) {
 674             if (!EVP_CipherUpdate(ctx, tmp + out_misalign + tmplen, &chunklen,
 675                                   in, in_len - 1))
 676                 goto err;
 677             tmplen += chunklen;
 678             in += in_len - 1;
 679             in_len = 1;
 680         }
 681         if (in_len > 0 ) {
 682             if (!EVP_CipherUpdate(ctx, tmp + out_misalign + tmplen, &chunklen,
 683                                   in, 1))
 684                 goto err;
 685             tmplen += chunklen;
 686         }
 687     }
 688     if (!EVP_CipherFinal_ex(ctx, tmp + out_misalign + tmplen, &tmpflen)) {
 689         t->err = "CIPHERFINAL_ERROR";
 690         goto err;
 691     }
 692     if (!compare_mem(out, out_len, tmp + out_misalign, tmplen + tmpflen)) {
 693         t->err = "VALUE_MISMATCH";
 694         goto err;
 695     }
 696     if (enc && cdat->aead) {
 697         unsigned char rtag[16];
 698
 699         if (cdat->tag_len > sizeof(rtag)) {
 700             t->err = "TAG_LENGTH_INTERNAL_ERROR";
 701             goto err;
 702         }
 703         if (!EVP_CIPHER_CTX_ctrl(ctx, EVP_CTRL_AEAD_GET_TAG,
 704                                  cdat->tag_len, rtag)) {
 705             t->err = "TAG_RETRIEVE_ERROR";
 706             goto err;
 707         }
 708         if (!compare_mem(cdat->tag, cdat->tag_len, rtag, cdat->tag_len)) {
 709             t->err = "TAG_VALUE_MISMATCH";
 710             goto err;
 711         }
 712     }
 713     t->err = NULL;
 714     ok = 1;
 715  err:
 716     OPENSSL_free(tmp);
 717     EVP_CIPHER_CTX_free(ctx);
 718     return ok;
 719 }
 720
 721 static int cipher_test_run(EVP_TEST *t)
 722 {
 723     CIPHER_DATA *cdat = t->data;
 724     int rv, frag = 0;
 725     size_t out_misalign, inp_misalign;
 726
 727     if (!cdat->key) {
 728         t->err = "NO_KEY";
 729         return 0;
 730     }
 731     if (!cdat->iv && EVP_CIPHER_iv_length(cdat->cipher)) {
 732         /* IV is optional and usually omitted in wrap mode */
 733         if (EVP_CIPHER_mode(cdat->cipher) != EVP_CIPH_WRAP_MODE) {
 734             t->err = "NO_IV";
 735             return 0;
 736         }
 737     }
 738     if (cdat->aead && !cdat->tag) {
 739         t->err = "NO_TAG";
 740         return 0;
 741     }
 742     for (out_misalign = 0; out_misalign <= 1;) {
 743         static char aux_err[64];
 744         t->aux_err = aux_err;
 745         for (inp_misalign = (size_t)-1; inp_misalign != 2; inp_misalign++) {
 746             if (inp_misalign == (size_t)-1) {
 747                 /* kludge: inp_misalign == -1 means "exercise in-place" */
 748                 BIO_snprintf(aux_err, sizeof(aux_err),
 749                              "%s in-place, %sfragmented",
 750                              out_misalign ? "misaligned" : "aligned",
 751                              frag ? "" : "not ");
 752             } else {
 753                 BIO_snprintf(aux_err, sizeof(aux_err),
 754                              "%s output and %s input, %sfragmented",
 755                              out_misalign ? "misaligned" : "aligned",
 756                              inp_misalign ? "misaligned" : "aligned",
 757                              frag ? "" : "not ");
 758             }
 759             if (cdat->enc) {
 760                 rv = cipher_test_enc(t, 1, out_misalign, inp_misalign, frag);
 761                 /* Not fatal errors: return */
 762                 if (rv != 1) {
 763                     if (rv < 0)
 764                         return 0;
 765                     return 1;
 766                 }
 767             }
 768             if (cdat->enc != 1) {
 769                 rv = cipher_test_enc(t, 0, out_misalign, inp_misalign, frag);
 770                 /* Not fatal errors: return */
 771                 if (rv != 1) {
 772                     if (rv < 0)
 773                         return 0;
 774                     return 1;
 775                 }
 776             }
 777         }
 778
 779         if (out_misalign == 1 && frag == 0) {
 780             /*
 781              * XTS, CCM and Wrap modes have special requirements about input
 782              * lengths so we don't fragment for those
 783              */
 784             if (cdat->aead == EVP_CIPH_CCM_MODE
 785                     || EVP_CIPHER_mode(cdat->cipher) == EVP_CIPH_XTS_MODE
 786                      || EVP_CIPHER_mode(cdat->cipher) == EVP_CIPH_WRAP_MODE)
 787                 break;
 788             out_misalign = 0;
 789             frag++;
 790         } else {
 791             out_misalign++;
 792         }
 793     }
 794     t->aux_err = NULL;
 795
 796     return 1;
 797 }
 798
 799 static const EVP_TEST_METHOD cipher_test_method = {
 800     "Cipher",
 801     cipher_test_init,
 802     cipher_test_cleanup,
 803     cipher_test_parse,
 804     cipher_test_run
 805 };
 806
 807
 808 /**
 809 ***  MAC TESTS
 810 **/
 811
 812 typedef struct mac_data_st {
 813     /* MAC type */
 814     int type;
 815     /* Algorithm string for this MAC */
 816     char *alg;
 817     /* MAC key */
 818     unsigned char *key;
 819     size_t key_len;
 820     /* Input to MAC */
 821     unsigned char *input;
 822     size_t input_len;
 823     /* Expected output */
 824     unsigned char *output;
 825     size_t output_len;
 826 } MAC_DATA;
 827
 828 static int mac_test_init(EVP_TEST *t, const char *alg)
 829 {
 830     int type;
 831     MAC_DATA *mdat;
 832
 833     if (strcmp(alg, "HMAC") == 0) {
 834         type = EVP_PKEY_HMAC;
 835     } else if (strcmp(alg, "CMAC") == 0) {
 836 #ifndef OPENSSL_NO_CMAC
 837         type = EVP_PKEY_CMAC;
 838 #else
 839         t->skip = 1;
 840         return 1;
 841 #endif
 842     } else if (strcmp(alg, "Poly1305") == 0) {
 843 #ifndef OPENSSL_NO_POLY1305
 844         type = EVP_PKEY_POLY1305;
 845 #else
 846         t->skip = 1;
 847         return 1;
 848 #endif
 849     } else if (strcmp(alg, "SipHash") == 0) {
 850 #ifndef OPENSSL_NO_SIPHASH
 851         type = EVP_PKEY_SIPHASH;
 852 #else
 853         t->skip = 1;
 854         return 1;
 855 #endif
 856     } else
 857         return 0;
 858
 859     mdat = OPENSSL_zalloc(sizeof(*mdat));
 860     mdat->type = type;
 861     t->data = mdat;
 862     return 1;
 863 }
 864
 865 static void mac_test_cleanup(EVP_TEST *t)
 866 {
 867     MAC_DATA *mdat = t->data;
 868
 869     OPENSSL_free(mdat->alg);
 870     OPENSSL_free(mdat->key);
 871     OPENSSL_free(mdat->input);
 872     OPENSSL_free(mdat->output);
 873 }
 874
 875 static int mac_test_parse(EVP_TEST *t,
 876                           const char *keyword, const char *value)
 877 {
 878     MAC_DATA *mdata = t->data;
 879
 880     if (strcmp(keyword, "Key") == 0)
 881         return parse_bin(value, &mdata->key, &mdata->key_len);
 882     if (strcmp(keyword, "Algorithm") == 0) {
 883         mdata->alg = OPENSSL_strdup(value);
 884         if (!mdata->alg)
 885             return 0;
 886         return 1;
 887     }
 888     if (strcmp(keyword, "Input") == 0)
 889         return parse_bin(value, &mdata->input, &mdata->input_len);
 890     if (strcmp(keyword, "Output") == 0)
 891         return parse_bin(value, &mdata->output, &mdata->output_len);
 892     return 0;
 893 }
 894
 895 static int mac_test_run(EVP_TEST *t)
 896 {
 897     MAC_DATA *mdata = t->data;
 898     EVP_MD_CTX *mctx = NULL;
 899     EVP_PKEY_CTX *pctx = NULL, *genctx = NULL;
 900     EVP_PKEY *key = NULL;
 901     const EVP_MD *md = NULL;
 902     unsigned char *mac = NULL;
 903     size_t mac_len;
 904
 905 #ifdef OPENSSL_NO_DES
 906     if (mdata->alg != NULL && strstr(mdata->alg, "DES") != NULL) {
 907         /* Skip DES */
 908         t->err = NULL;
 909         goto err;
 910     }
 911 #endif
 912
 913     if (!TEST_ptr(genctx = EVP_PKEY_CTX_new_id(mdata->type, NULL))) {
 914         t->err = "MAC_PKEY_CTX_ERROR";
 915         goto err;
 916     }
 917
 918     if (EVP_PKEY_keygen_init(genctx) <= 0) {
 919         t->err = "MAC_KEYGEN_INIT_ERROR";
 920         goto err;
 921     }
 922     if (mdata->type == EVP_PKEY_CMAC
 923              && EVP_PKEY_CTX_ctrl_str(genctx, "cipher", mdata->alg) <= 0) {
 924         t->err = "MAC_ALGORITHM_SET_ERROR";
 925         goto err;
 926     }
 927
 928     if (EVP_PKEY_CTX_set_mac_key(genctx, mdata->key, mdata->key_len) <= 0) {
 929         t->err = "MAC_KEY_SET_ERROR";
 930         goto err;
 931     }
 932
 933     if (EVP_PKEY_keygen(genctx, &key) <= 0) {
 934         t->err = "MAC_KEY_GENERATE_ERROR";
 935         goto err;
 936     }
 937     if (mdata->type == EVP_PKEY_HMAC) {
 938         if (!TEST_ptr(md = EVP_get_digestbyname(mdata->alg))) {
 939             t->err = "MAC_ALGORITHM_SET_ERROR";
 940             goto err;
 941         }
 942     }
 943     if (!TEST_ptr(mctx = EVP_MD_CTX_new())) {
 944         t->err = "INTERNAL_ERROR";
 945         goto err;
 946     }
 947     if (!EVP_DigestSignInit(mctx, &pctx, md, NULL, key)) {
 948         t->err = "DIGESTSIGNINIT_ERROR";
 949         goto err;
 950     }
 951
 952     if (!EVP_DigestSignUpdate(mctx, mdata->input, mdata->input_len)) {
 953         t->err = "DIGESTSIGNUPDATE_ERROR";
 954         goto err;
 955     }
 956     if (!EVP_DigestSignFinal(mctx, NULL, &mac_len)) {
 957         t->err = "DIGESTSIGNFINAL_LENGTH_ERROR";
 958         goto err;
 959     }
 960     if (!TEST_ptr(mac = OPENSSL_malloc(mac_len))) {
 961         t->err = "TEST_FAILURE";
 962         goto err;
 963     }
 964     if (!EVP_DigestSignFinal(mctx, mac, &mac_len)
 965             || !compare_mem(mdata->output, mdata->output_len, mac, mac_len)) {
 966         t->err = "TEST_MAC_ERR";
 967         goto err;
 968     }
 969     t->err = NULL;
 970  err:
 971     EVP_MD_CTX_free(mctx);
 972     OPENSSL_free(mac);
 973     EVP_PKEY_CTX_free(genctx);
 974     EVP_PKEY_free(key);
 975     return 1;
 976 }
 977
 978 static const EVP_TEST_METHOD mac_test_method = {
 979     "MAC",
 980     mac_test_init,
 981     mac_test_cleanup,
 982     mac_test_parse,
 983     mac_test_run
 984 };
 985
 986
 987 /**
 988 ***  PUBLIC KEY TESTS
 989 ***  These are all very similar and share much common code.
 990 **/
 991
 992 typedef struct pkey_data_st {
 993     /* Context for this operation */
 994     EVP_PKEY_CTX *ctx;
 995     /* Key operation to perform */
 996     int (*keyop) (EVP_PKEY_CTX *ctx,
 997                   unsigned char *sig, size_t *siglen,
 998                   const unsigned char *tbs, size_t tbslen);
 999     /* Input to MAC */
1000     unsigned char *input;
1001     size_t input_len;
1002     /* Expected output */
1003     unsigned char *output;
1004     size_t output_len;
1005 } PKEY_DATA;
1006
1007 /*
1008  * Perform public key operation setup: lookup key, allocated ctx and call
1009  * the appropriate initialisation function
1010  */
1011 static int pkey_test_init(EVP_TEST *t, const char *name,
1012                           int use_public,
1013                           int (*keyopinit) (EVP_PKEY_CTX *ctx),
1014                           int (*keyop)(EVP_PKEY_CTX *ctx,
1015                                        unsigned char *sig, size_t *siglen,
1016                                        const unsigned char *tbs,
1017                                        size_t tbslen))
1018 {
1019     PKEY_DATA *kdata;
1020     EVP_PKEY *pkey = NULL;
1021     int rv = 0;
1022
1023     if (use_public)
1024         rv = find_key(&pkey, name, public_keys);
1025     if (rv == 0)
1026         rv = find_key(&pkey, name, private_keys);
1027     if (rv == 0 || pkey == NULL) {
1028         t->skip = 1;
1029         return 1;
1030     }
1031
1032     if (!TEST_ptr(kdata = OPENSSL_zalloc(sizeof(*kdata)))) {
1033         EVP_PKEY_free(pkey);
1034         return 0;
1035     }
1036     kdata->keyop = keyop;
1037     if (!TEST_ptr(kdata->ctx = EVP_PKEY_CTX_new(pkey, NULL)))
1038         return 0;
1039     if (keyopinit(kdata->ctx) <= 0)
1040         t->err = "KEYOP_INIT_ERROR";
1041     t->data = kdata;
1042     return 1;
1043 }
1044
1045 static void pkey_test_cleanup(EVP_TEST *t)
1046 {
1047     PKEY_DATA *kdata = t->data;
1048
1049     OPENSSL_free(kdata->input);
1050     OPENSSL_free(kdata->output);
1051     EVP_PKEY_CTX_free(kdata->ctx);
1052 }
1053
1054 static int pkey_test_ctrl(EVP_TEST *t, EVP_PKEY_CTX *pctx,
1055                           const char *value)
1056 {
1057     int rv;
1058     char *p, *tmpval;
1059
1060     if (!TEST_ptr(tmpval = OPENSSL_strdup(value)))
1061         return 0;
1062     p = strchr(tmpval, ':');
1063     if (p != NULL)
1064         *p++ = '\0';
1065     rv = EVP_PKEY_CTX_ctrl_str(pctx, tmpval, p);
1066     if (rv == -2) {
1067         t->err = "PKEY_CTRL_INVALID";
1068         rv = 1;
1069     } else if (p != NULL && rv <= 0) {
1070         /* If p has an OID and lookup fails assume disabled algorithm */
1071         int nid = OBJ_sn2nid(p);
1072
1073         if (nid == NID_undef)
1074              nid = OBJ_ln2nid(p);
1075         if (nid != NID_undef
1076                 && EVP_get_digestbynid(nid) == NULL
1077                 && EVP_get_cipherbynid(nid) == NULL) {
1078             t->skip = 1;
1079             rv = 1;
1080         } else {
1081             t->err = "PKEY_CTRL_ERROR";
1082             rv = 1;
1083         }
1084     }
1085     OPENSSL_free(tmpval);
1086     return rv > 0;
1087 }
1088
1089 static int pkey_test_parse(EVP_TEST *t,
1090                            const char *keyword, const char *value)
1091 {
1092     PKEY_DATA *kdata = t->data;
1093     if (strcmp(keyword, "Input") == 0)
1094         return parse_bin(value, &kdata->input, &kdata->input_len);
1095     if (strcmp(keyword, "Output") == 0)
1096         return parse_bin(value, &kdata->output, &kdata->output_len);
1097     if (strcmp(keyword, "Ctrl") == 0)
1098         return pkey_test_ctrl(t, kdata->ctx, value);
1099     return 0;
1100 }
1101
1102 static int pkey_test_run(EVP_TEST *t)
1103 {
1104     PKEY_DATA *kdata = t->data;
1105     unsigned char *out = NULL;
1106     size_t out_len;
1107
1108     if (kdata->keyop(kdata->ctx, NULL, &out_len, kdata->input,
1109                      kdata->input_len) <= 0
1110             || !TEST_ptr(out = OPENSSL_malloc(out_len))) {
1111         t->err = "KEYOP_LENGTH_ERROR";
1112         goto err;
1113     }
1114     if (kdata->keyop(kdata->ctx, out,
1115                      &out_len, kdata->input, kdata->input_len) <= 0) {
1116         t->err = "KEYOP_ERROR";
1117         goto err;
1118     }
1119     if (!compare_mem(kdata->output, kdata->output_len, out, out_len)) {
1120         t->err = "KEYOP_MISMATCH";
1121         goto err;
1122     }
1123     t->err = NULL;
1124  err:
1125     OPENSSL_free(out);
1126     return 1;
1127 }
1128
1129 static int sign_test_init(EVP_TEST *t, const char *name)
1130 {
1131     return pkey_test_init(t, name, 0, EVP_PKEY_sign_init, EVP_PKEY_sign);
1132 }
1133
1134 static const EVP_TEST_METHOD psign_test_method = {
1135     "Sign",
1136     sign_test_init,
1137     pkey_test_cleanup,
1138     pkey_test_parse,
1139     pkey_test_run
1140 };
1141
1142 static int verify_recover_test_init(EVP_TEST *t, const char *name)
1143 {
1144     return pkey_test_init(t, name, 1, EVP_PKEY_verify_recover_init,
1145                           EVP_PKEY_verify_recover);
1146 }
1147
1148 static const EVP_TEST_METHOD pverify_recover_test_method = {
1149     "VerifyRecover",
1150     verify_recover_test_init,
1151     pkey_test_cleanup,
1152     pkey_test_parse,
1153     pkey_test_run
1154 };
1155
1156 static int decrypt_test_init(EVP_TEST *t, const char *name)
1157 {
1158     return pkey_test_init(t, name, 0, EVP_PKEY_decrypt_init,
1159                           EVP_PKEY_decrypt);
1160 }
1161
1162 static const EVP_TEST_METHOD pdecrypt_test_method = {
1163     "Decrypt",
1164     decrypt_test_init,
1165     pkey_test_cleanup,
1166     pkey_test_parse,
1167     pkey_test_run
1168 };
1169
1170 static int verify_test_init(EVP_TEST *t, const char *name)
1171 {
1172     return pkey_test_init(t, name, 1, EVP_PKEY_verify_init, 0);
1173 }
1174
1175 static int verify_test_run(EVP_TEST *t)
1176 {
1177     PKEY_DATA *kdata = t->data;
1178
1179     if (EVP_PKEY_verify(kdata->ctx, kdata->output, kdata->output_len,
1180                         kdata->input, kdata->input_len) <= 0)
1181         t->err = "VERIFY_ERROR";
1182     return 1;
1183 }
1184
1185 static const EVP_TEST_METHOD pverify_test_method = {
1186     "Verify",
1187     verify_test_init,
1188     pkey_test_cleanup,
1189     pkey_test_parse,
1190     verify_test_run
1191 };
1192
1193
1194 static int pderive_test_init(EVP_TEST *t, const char *name)
1195 {
1196     return pkey_test_init(t, name, 0, EVP_PKEY_derive_init, 0);
1197 }
1198
1199 static int pderive_test_parse(EVP_TEST *t,
1200                               const char *keyword, const char *value)
1201 {
1202     PKEY_DATA *kdata = t->data;
1203
1204     if (strcmp(keyword, "PeerKey") == 0) {
1205         EVP_PKEY *peer;
1206         if (find_key(&peer, value, public_keys) == 0)
1207             return 0;
1208         if (EVP_PKEY_derive_set_peer(kdata->ctx, peer) <= 0)
1209             return 0;
1210         return 1;
1211     }
1212     if (strcmp(keyword, "SharedSecret") == 0)
1213         return parse_bin(value, &kdata->output, &kdata->output_len);
1214     if (strcmp(keyword, "Ctrl") == 0)
1215         return pkey_test_ctrl(t, kdata->ctx, value);
1216     return 0;
1217 }
1218
1219 static int pderive_test_run(EVP_TEST *t)
1220 {
1221     PKEY_DATA *kdata = t->data;
1222     unsigned char *out = NULL;
1223     size_t out_len;
1224
1225     out_len = kdata->output_len;
1226     if (!TEST_ptr(out = OPENSSL_malloc(out_len))) {
1227         t->err = "DERIVE_ERROR";
1228         goto err;
1229     }
1230     if (EVP_PKEY_derive(kdata->ctx, out, &out_len) <= 0) {
1231         t->err = "DERIVE_ERROR";
1232         goto err;
1233     }
1234     if (!compare_mem(kdata->output, kdata->output_len, out, out_len)) {
1235         t->err = "SHARED_SECRET_MISMATCH";
1236         goto err;
1237     }
1238
1239     t->err = NULL;
1240  err:
1241     OPENSSL_free(out);
1242     return 1;
1243 }
1244
1245 static const EVP_TEST_METHOD pderive_test_method = {
1246     "Derive",
1247     pderive_test_init,
1248     pkey_test_cleanup,
1249     pderive_test_parse,
1250     pderive_test_run
1251 };
1252
1253
1254 /**
1255 ***  PBE TESTS
1256 **/
1257
1258 typedef enum pbe_type_enum {
1259     PBE_TYPE_INVALID = 0,
1260     PBE_TYPE_SCRYPT, PBE_TYPE_PBKDF2, PBE_TYPE_PKCS12
1261 } PBE_TYPE;
1262
1263 typedef struct pbe_data_st {
1264     PBE_TYPE pbe_type;
1265         /* scrypt parameters */
1266     uint64_t N, r, p, maxmem;
1267         /* PKCS#12 parameters */
1268     int id, iter;
1269     const EVP_MD *md;
1270         /* password */
1271     unsigned char *pass;
1272     size_t pass_len;
1273         /* salt */
1274     unsigned char *salt;
1275     size_t salt_len;
1276         /* Expected output */
1277     unsigned char *key;
1278     size_t key_len;
1279 } PBE_DATA;
1280
1281 #ifndef OPENSSL_NO_SCRYPT
1282 /*
1283  * Parse unsigned decimal 64 bit integer value
1284  */
1285 static int parse_uint64(const char *value, uint64_t *pr)
1286 {
1287     const char *p = value;
1288
1289     if (!TEST_true(*p)) {
1290         TEST_info("Invalid empty integer value");
1291         return -1;
1292     }
1293     for (*pr = 0; *p; ) {
1294         if (*pr > UINT64_MAX / 10) {
1295             TEST_error("Integer overflow in string %s", value);
1296             return -1;
1297         }
1298         *pr *= 10;
1299         if (!TEST_true(isdigit(*p))) {
1300             TEST_error("Invalid character in string %s", value);
1301             return -1;
1302         }
1303         *pr += *p - '0';
1304         p++;
1305     }
1306     return 1;
1307 }
1308
1309 static int scrypt_test_parse(EVP_TEST *t,
1310                              const char *keyword, const char *value)
1311 {
1312     PBE_DATA *pdata = t->data;
1313
1314     if (strcmp(keyword, "N") == 0)
1315         return parse_uint64(value, &pdata->N);
1316     if (strcmp(keyword, "p") == 0)
1317         return parse_uint64(value, &pdata->p);
1318     if (strcmp(keyword, "r") == 0)
1319         return parse_uint64(value, &pdata->r);
1320     if (strcmp(keyword, "maxmem") == 0)
1321         return parse_uint64(value, &pdata->maxmem);
1322     return 0;
1323 }
1324 #endif
1325
1326 static int pbkdf2_test_parse(EVP_TEST *t,
1327                              const char *keyword, const char *value)
1328 {
1329     PBE_DATA *pdata = t->data;
1330
1331     if (strcmp(keyword, "iter") == 0) {
1332         pdata->iter = atoi(value);
1333         if (pdata->iter <= 0)
1334             return -1;
1335         return 1;
1336     }
1337     if (strcmp(keyword, "MD") == 0) {
1338         pdata->md = EVP_get_digestbyname(value);
1339         if (pdata->md == NULL)
1340             return -1;
1341         return 1;
1342     }
1343     return 0;
1344 }
1345
1346 static int pkcs12_test_parse(EVP_TEST *t,
1347                              const char *keyword, const char *value)
1348 {
1349     PBE_DATA *pdata = t->data;
1350
1351     if (strcmp(keyword, "id") == 0) {
1352         pdata->id = atoi(value);
1353         if (pdata->id <= 0)
1354             return -1;
1355         return 1;
1356     }
1357     return pbkdf2_test_parse(t, keyword, value);
1358 }
1359
1360 static int pbe_test_init(EVP_TEST *t, const char *alg)
1361 {
1362     PBE_DATA *pdat;
1363     PBE_TYPE pbe_type = PBE_TYPE_INVALID;
1364
1365     if (strcmp(alg, "scrypt") == 0) {
1366 #ifndef OPENSSL_NO_SCRYPT
1367         pbe_type = PBE_TYPE_SCRYPT;
1368 #else
1369         t->skip = 1;
1370         return 1;
1371 #endif
1372     } else if (strcmp(alg, "pbkdf2") == 0) {
1373         pbe_type = PBE_TYPE_PBKDF2;
1374     } else if (strcmp(alg, "pkcs12") == 0) {
1375         pbe_type = PBE_TYPE_PKCS12;
1376     } else {
1377         TEST_error("Unknown pbe algorithm %s", alg);
1378     }
1379     pdat = OPENSSL_zalloc(sizeof(*pdat));
1380     pdat->pbe_type = pbe_type;
1381     t->data = pdat;
1382     return 1;
1383 }
1384
1385 static void pbe_test_cleanup(EVP_TEST *t)
1386 {
1387     PBE_DATA *pdat = t->data;
1388
1389     OPENSSL_free(pdat->pass);
1390     OPENSSL_free(pdat->salt);
1391     OPENSSL_free(pdat->key);
1392 }
1393
1394 static int pbe_test_parse(EVP_TEST *t,
1395                           const char *keyword, const char *value)
1396 {
1397     PBE_DATA *pdata = t->data;
1398
1399     if (strcmp(keyword, "Password") == 0)
1400         return parse_bin(value, &pdata->pass, &pdata->pass_len);
1401     if (strcmp(keyword, "Salt") == 0)
1402         return parse_bin(value, &pdata->salt, &pdata->salt_len);
1403     if (strcmp(keyword, "Key") == 0)
1404         return parse_bin(value, &pdata->key, &pdata->key_len);
1405     if (pdata->pbe_type == PBE_TYPE_PBKDF2)
1406         return pbkdf2_test_parse(t, keyword, value);
1407     else if (pdata->pbe_type == PBE_TYPE_PKCS12)
1408         return pkcs12_test_parse(t, keyword, value);
1409 #ifndef OPENSSL_NO_SCRYPT
1410     else if (pdata->pbe_type == PBE_TYPE_SCRYPT)
1411         return scrypt_test_parse(t, keyword, value);
1412 #endif
1413     return 0;
1414 }
1415
1416 static int pbe_test_run(EVP_TEST *t)
1417 {
1418     PBE_DATA *pdata = t->data;
1419     unsigned char *key;
1420
1421     if (!TEST_ptr(key = OPENSSL_malloc(pdata->key_len))) {
1422         t->err = "INTERNAL_ERROR";
1423         goto err;
1424     }
1425     if (pdata->pbe_type == PBE_TYPE_PBKDF2) {
1426         if (PKCS5_PBKDF2_HMAC((char *)pdata->pass, pdata->pass_len,
1427                               pdata->salt, pdata->salt_len,
1428                               pdata->iter, pdata->md,
1429                               pdata->key_len, key) == 0) {
1430             t->err = "PBKDF2_ERROR";
1431             goto err;
1432         }
1433 #ifndef OPENSSL_NO_SCRYPT
1434     } else if (pdata->pbe_type == PBE_TYPE_SCRYPT) {
1435         if (EVP_PBE_scrypt((const char *)pdata->pass, pdata->pass_len,
1436                            pdata->salt, pdata->salt_len,
1437                            pdata->N, pdata->r, pdata->p, pdata->maxmem,
1438                            key, pdata->key_len) == 0) {
1439             t->err = "SCRYPT_ERROR";
1440             goto err;
1441         }
1442 #endif
1443     } else if (pdata->pbe_type == PBE_TYPE_PKCS12) {
1444         if (PKCS12_key_gen_uni(pdata->pass, pdata->pass_len,
1445                                pdata->salt, pdata->salt_len,
1446                                pdata->id, pdata->iter, pdata->key_len,
1447                                key, pdata->md) == 0) {
1448             t->err = "PKCS12_ERROR";
1449             goto err;
1450         }
1451     }
1452     if (!compare_mem(pdata->key, pdata->key_len, key, pdata->key_len)) {
1453         t->err = "KEY_MISMATCH";
1454         goto err;
1455     }
1456     t->err = NULL;
1457 err:
1458     OPENSSL_free(key);
1459     return 1;
1460 }
1461
1462 static const EVP_TEST_METHOD pbe_test_method = {
1463     "PBE",
1464     pbe_test_init,
1465     pbe_test_cleanup,
1466     pbe_test_parse,
1467     pbe_test_run
1468 };
1469
1470
1471 /**
1472 ***  BASE64 TESTS
1473 **/
1474
1475 typedef enum {
1476     BASE64_CANONICAL_ENCODING = 0,
1477     BASE64_VALID_ENCODING = 1,
1478     BASE64_INVALID_ENCODING = 2
1479 } base64_encoding_type;
1480
1481 typedef struct encode_data_st {
1482     /* Input to encoding */
1483     unsigned char *input;
1484     size_t input_len;
1485     /* Expected output */
1486     unsigned char *output;
1487     size_t output_len;
1488     base64_encoding_type encoding;
1489 } ENCODE_DATA;
1490
1491 static int encode_test_init(EVP_TEST *t, const char *encoding)
1492 {
1493     ENCODE_DATA *edata;
1494
1495     if (!TEST_ptr(edata = OPENSSL_zalloc(sizeof(*edata))))
1496         return 0;
1497     if (strcmp(encoding, "canonical") == 0) {
1498         edata->encoding = BASE64_CANONICAL_ENCODING;
1499     } else if (strcmp(encoding, "valid") == 0) {
1500         edata->encoding = BASE64_VALID_ENCODING;
1501     } else if (strcmp(encoding, "invalid") == 0) {
1502         edata->encoding = BASE64_INVALID_ENCODING;
1503         if (!TEST_ptr(t->expected_err = OPENSSL_strdup("DECODE_ERROR")))
1504             return 0;
1505     } else {
1506         TEST_error("Bad encoding: %s."
1507                    " Should be one of {canonical, valid, invalid}",
1508                    encoding);
1509         return 0;
1510     }
1511     t->data = edata;
1512     return 1;
1513 }
1514
1515 static void encode_test_cleanup(EVP_TEST *t)
1516 {
1517     ENCODE_DATA *edata = t->data;
1518
1519     OPENSSL_free(edata->input);
1520     OPENSSL_free(edata->output);
1521     memset(edata, 0, sizeof(*edata));
1522 }
1523
1524 static int encode_test_parse(EVP_TEST *t,
1525                              const char *keyword, const char *value)
1526 {
1527     ENCODE_DATA *edata = t->data;
1528
1529     if (strcmp(keyword, "Input") == 0)
1530         return parse_bin(value, &edata->input, &edata->input_len);
1531     if (strcmp(keyword, "Output") == 0)
1532         return parse_bin(value, &edata->output, &edata->output_len);
1533     return 0;
1534 }
1535
1536 static int encode_test_run(EVP_TEST *t)
1537 {
1538     ENCODE_DATA *edata = t->data;
1539     unsigned char *encode_out = NULL, *decode_out = NULL;
1540     int output_len, chunk_len;
1541     EVP_ENCODE_CTX *decode_ctx;
1542
1543     if (!TEST_ptr(decode_ctx = EVP_ENCODE_CTX_new())) {
1544         t->err = "INTERNAL_ERROR";
1545         goto err;
1546     }
1547
1548     if (edata->encoding == BASE64_CANONICAL_ENCODING) {
1549         EVP_ENCODE_CTX *encode_ctx;
1550
1551         if (!TEST_ptr(encode_ctx = EVP_ENCODE_CTX_new())
1552                 || !TEST_ptr(encode_out =
1553                         OPENSSL_malloc(EVP_ENCODE_LENGTH(edata->input_len))))
1554             goto err;
1555
1556         EVP_EncodeInit(encode_ctx);
1557         EVP_EncodeUpdate(encode_ctx, encode_out, &chunk_len,
1558                          edata->input, edata->input_len);
1559         output_len = chunk_len;
1560
1561         EVP_EncodeFinal(encode_ctx, encode_out + chunk_len, &chunk_len);
1562         output_len += chunk_len;
1563
1564         EVP_ENCODE_CTX_free(encode_ctx);
1565
1566         if (!compare_mem(edata->output, edata->output_len,
1567                          encode_out, output_len)) {
1568             t->err = "BAD_ENCODING";
1569             goto err;
1570         }
1571     }
1572
1573     if (!TEST_ptr(decode_out =
1574                 OPENSSL_malloc(EVP_DECODE_LENGTH(edata->output_len))))
1575         goto err;
1576
1577     EVP_DecodeInit(decode_ctx);
1578     if (EVP_DecodeUpdate(decode_ctx, decode_out, &chunk_len, edata->output,
1579                          edata->output_len) < 0) {
1580         t->err = "DECODE_ERROR";
1581         goto err;
1582     }
1583     output_len = chunk_len;
1584
1585     if (EVP_DecodeFinal(decode_ctx, decode_out + chunk_len, &chunk_len) != 1) {
1586         t->err = "DECODE_ERROR";
1587         goto err;
1588     }
1589     output_len += chunk_len;
1590
1591     if (edata->encoding != BASE64_INVALID_ENCODING
1592             && !compare_mem(edata->input, edata->input_len,
1593                             decode_out, output_len)) {
1594         t->err = "BAD_DECODING";
1595         goto err;
1596     }
1597
1598     t->err = NULL;
1599  err:
1600     OPENSSL_free(encode_out);
1601     OPENSSL_free(decode_out);
1602     EVP_ENCODE_CTX_free(decode_ctx);
1603     return 1;
1604 }
1605
1606 static const EVP_TEST_METHOD encode_test_method = {
1607     "Encoding",
1608     encode_test_init,
1609     encode_test_cleanup,
1610     encode_test_parse,
1611     encode_test_run,
1612 };
1613
1614 /**
1615 ***  KDF TESTS
1616 **/
1617
1618 typedef struct kdf_data_st {
1619     /* Context for this operation */
1620     EVP_PKEY_CTX *ctx;
1621     /* Expected output */
1622     unsigned char *output;
1623     size_t output_len;
1624 } KDF_DATA;
1625
1626 /*
1627  * Perform public key operation setup: lookup key, allocated ctx and call
1628  * the appropriate initialisation function
1629  */
1630 static int kdf_test_init(EVP_TEST *t, const char *name)
1631 {
1632     KDF_DATA *kdata;
1633
1634     if (!TEST_ptr(kdata = OPENSSL_zalloc(sizeof(*kdata))))
1635         return 0;
1636     kdata->ctx = EVP_PKEY_CTX_new_id(OBJ_sn2nid(name), NULL);
1637     if (kdata->ctx == NULL)
1638         return 0;
1639     if (EVP_PKEY_derive_init(kdata->ctx) <= 0)
1640         return 0;
1641     t->data = kdata;
1642     return 1;
1643 }
1644
1645 static void kdf_test_cleanup(EVP_TEST *t)
1646 {
1647     KDF_DATA *kdata = t->data;
1648     OPENSSL_free(kdata->output);
1649     EVP_PKEY_CTX_free(kdata->ctx);
1650 }
1651
1652 static int kdf_test_parse(EVP_TEST *t,
1653                           const char *keyword, const char *value)
1654 {
1655     KDF_DATA *kdata = t->data;
1656
1657     if (strcmp(keyword, "Output") == 0)
1658         return parse_bin(value, &kdata->output, &kdata->output_len);
1659     if (strncmp(keyword, "Ctrl", 4) == 0)
1660         return pkey_test_ctrl(t, kdata->ctx, value);
1661     return 0;
1662 }
1663
1664 static int kdf_test_run(EVP_TEST *t)
1665 {
1666     KDF_DATA *kdata = t->data;
1667     unsigned char *out = NULL;
1668     size_t out_len = kdata->output_len;
1669
1670     if (!TEST_ptr(out = OPENSSL_malloc(out_len))) {
1671         t->err = "INTERNAL_ERROR";
1672         goto err;
1673     }
1674     if (EVP_PKEY_derive(kdata->ctx, out, &out_len) <= 0) {
1675         t->err = "KDF_DERIVE_ERROR";
1676         goto err;
1677     }
1678     if (!compare_mem(kdata->output, kdata->output_len, out, out_len)) {
1679         t->err = "KDF_MISMATCH";
1680         goto err;
1681     }
1682     t->err = NULL;
1683
1684  err:
1685     OPENSSL_free(out);
1686     return 1;
1687 }
1688
1689 static const EVP_TEST_METHOD kdf_test_method = {
1690     "KDF",
1691     kdf_test_init,
1692     kdf_test_cleanup,
1693     kdf_test_parse,
1694     kdf_test_run
1695 };
1696
1697
1698 /**
1699 ***  KEYPAIR TESTS
1700 **/
1701
1702 typedef struct keypair_test_data_st {
1703     EVP_PKEY *privk;
1704     EVP_PKEY *pubk;
1705 } KEYPAIR_TEST_DATA;
1706
1707 static int keypair_test_init(EVP_TEST *t, const char *pair)
1708 {
1709     KEYPAIR_TEST_DATA *data;
1710     int rv = 0;
1711     EVP_PKEY *pk = NULL, *pubk = NULL;
1712     char *pub, *priv = NULL;
1713
1714     /* Split private and public names. */
1715     if (!TEST_ptr(priv = OPENSSL_strdup(pair))
1716             || !TEST_ptr(pub = strchr(priv, ':'))) {
1717         t->err = "PARSING_ERROR";
1718         goto end;
1719     }
1720     *pub++ = '\0';
1721
1722     if (!TEST_true(find_key(&pk, priv, private_keys))) {
1723         TEST_info("Can't find private key: %s", priv);
1724         t->err = "MISSING_PRIVATE_KEY";
1725         goto end;
1726     }
1727     if (!TEST_true(find_key(&pubk, pub, public_keys))) {
1728         TEST_info("Can't find public key: %s", pub);
1729         t->err = "MISSING_PUBLIC_KEY";
1730         goto end;
1731     }
1732
1733     if (pk == NULL && pubk == NULL) {
1734         /* Both keys are listed but unsupported: skip this test */
1735         t->skip = 1;
1736         rv = 1;
1737         goto end;
1738     }
1739
1740     if (!TEST_ptr(data = OPENSSL_malloc(sizeof(*data))))
1741         goto end;
1742     data->privk = pk;
1743     data->pubk = pubk;
1744     t->data = data;
1745     rv = 1;
1746     t->err = NULL;
1747
1748 end:
1749     OPENSSL_free(priv);
1750     return rv;
1751 }
1752
1753 static void keypair_test_cleanup(EVP_TEST *t)
1754 {
1755     OPENSSL_free(t->data);
1756     t->data = NULL;
1757 }
1758
1759 /*
1760  * For tests that do not accept any custom keywords.
1761  */
1762 static int void_test_parse(EVP_TEST *t, const char *keyword, const char *value)
1763 {
1764     return 0;
1765 }
1766
1767 static int keypair_test_run(EVP_TEST *t)
1768 {
1769     int rv = 0;
1770     const KEYPAIR_TEST_DATA *pair = t->data;
1771
1772     if (pair->privk == NULL || pair->pubk == NULL) {
1773         /*
1774          * this can only happen if only one of the keys is not set
1775          * which means that one of them was unsupported while the
1776          * other isn't: hence a key type mismatch.
1777          */
1778         t->err = "KEYPAIR_TYPE_MISMATCH";
1779         rv = 1;
1780         goto end;
1781     }
1782
1783     if ((rv = EVP_PKEY_cmp(pair->privk, pair->pubk)) != 1 ) {
1784         if ( 0 == rv ) {
1785             t->err = "KEYPAIR_MISMATCH";
1786         } else if ( -1 == rv ) {
1787             t->err = "KEYPAIR_TYPE_MISMATCH";
1788         } else if ( -2 == rv ) {
1789             t->err = "UNSUPPORTED_KEY_COMPARISON";
1790         } else {
1791             TEST_error("Unexpected error in key comparison");
1792             rv = 0;
1793             goto end;
1794         }
1795         rv = 1;
1796         goto end;
1797     }
1798
1799     rv = 1;
1800     t->err = NULL;
1801
1802 end:
1803     return rv;
1804 }
1805
1806 static const EVP_TEST_METHOD keypair_test_method = {
1807     "PrivPubKeyPair",
1808     keypair_test_init,
1809     keypair_test_cleanup,
1810     void_test_parse,
1811     keypair_test_run
1812 };
1813
1814
1815 /**
1816 ***  DIGEST SIGN+VERIFY TESTS
1817 **/
1818
1819 typedef struct {
1820     int is_verify; /* Set to 1 if verifying */
1821     int is_oneshot; /* Set to 1 for one shot operation */
1822     const EVP_MD *md; /* Digest to use */
1823     EVP_MD_CTX *ctx; /* Digest context */
1824     EVP_PKEY_CTX *pctx;
1825     STACK_OF(EVP_TEST_BUFFER) *input; /* Input data: streaming */
1826     unsigned char *osin; /* Input data if one shot */
1827     size_t osin_len; /* Input length data if one shot */
1828     unsigned char *output; /* Expected output */
1829     size_t output_len; /* Expected output length */
1830 } DIGESTSIGN_DATA;
1831
1832 static int digestsigver_test_init(EVP_TEST *t, const char *alg, int is_verify,
1833                                   int is_oneshot)
1834 {
1835     const EVP_MD *md = NULL;
1836     DIGESTSIGN_DATA *mdat;
1837
1838     if (strcmp(alg, "NULL") != 0) {
1839         if ((md = EVP_get_digestbyname(alg)) == NULL) {
1840             /* If alg has an OID assume disabled algorithm */
1841             if (OBJ_sn2nid(alg) != NID_undef || OBJ_ln2nid(alg) != NID_undef) {
1842                 t->skip = 1;
1843                 return 1;
1844             }
1845             return 0;
1846         }
1847     }
1848     if (!TEST_ptr(mdat = OPENSSL_zalloc(sizeof(*mdat))))
1849         return 0;
1850     mdat->md = md;
1851     if (!TEST_ptr(mdat->ctx = EVP_MD_CTX_new())) {
1852         OPENSSL_free(mdat);
1853         return 0;
1854     }
1855     mdat->is_verify = is_verify;
1856     mdat->is_oneshot = is_oneshot;
1857     t->data = mdat;
1858     return 1;
1859 }
1860
1861 static int digestsign_test_init(EVP_TEST *t, const char *alg)
1862 {
1863     return digestsigver_test_init(t, alg, 0, 0);
1864 }
1865
1866 static void digestsigver_test_cleanup(EVP_TEST *t)
1867 {
1868     DIGESTSIGN_DATA *mdata = t->data;
1869
1870     EVP_MD_CTX_free(mdata->ctx);
1871     sk_EVP_TEST_BUFFER_pop_free(mdata->input, evp_test_buffer_free);
1872     OPENSSL_free(mdata->osin);
1873     OPENSSL_free(mdata->output);
1874     OPENSSL_free(mdata);
1875     t->data = NULL;
1876 }
1877
1878 static int digestsigver_test_parse(EVP_TEST *t,
1879                                    const char *keyword, const char *value)
1880 {
1881     DIGESTSIGN_DATA *mdata = t->data;
1882
1883     if (strcmp(keyword, "Key") == 0) {
1884         EVP_PKEY *pkey = NULL;
1885         int rv = 0;
1886
1887         if (mdata->is_verify)
1888             rv = find_key(&pkey, value, public_keys);
1889         if (rv == 0)
1890             rv = find_key(&pkey, value, private_keys);
1891         if (rv == 0 || pkey == NULL) {
1892             t->skip = 1;
1893             return 1;
1894         }
1895         if (mdata->is_verify) {
1896             if (!EVP_DigestVerifyInit(mdata->ctx, &mdata->pctx, mdata->md,
1897                                       NULL, pkey))
1898                 t->err = "DIGESTVERIFYINIT_ERROR";
1899             return 1;
1900         }
1901         if (!EVP_DigestSignInit(mdata->ctx, &mdata->pctx, mdata->md, NULL,
1902                                 pkey))
1903             t->err = "DIGESTSIGNINIT_ERROR";
1904         return 1;
1905     }
1906
1907     if (strcmp(keyword, "Input") == 0) {
1908         if (mdata->is_oneshot)
1909             return parse_bin(value, &mdata->osin, &mdata->osin_len);
1910         return evp_test_buffer_append(value, &mdata->input);
1911     }
1912     if (strcmp(keyword, "Output") == 0)
1913         return parse_bin(value, &mdata->output, &mdata->output_len);
1914
1915     if (!mdata->is_oneshot) {
1916         if (strcmp(keyword, "Count") == 0)
1917             return evp_test_buffer_set_count(value, mdata->input);
1918         if (strcmp(keyword, "Ncopy") == 0)
1919             return evp_test_buffer_ncopy(value, mdata->input);
1920     }
1921     if (strcmp(keyword, "Ctrl") == 0) {
1922         if (mdata->pctx == NULL)
1923             return 0;
1924         return pkey_test_ctrl(t, mdata->pctx, value);
1925     }
1926     return 0;
1927 }
1928
1929 static int digestsign_update_fn(void *ctx, const unsigned char *buf,
1930                                 size_t buflen)
1931 {
1932     return EVP_DigestSignUpdate(ctx, buf, buflen);
1933 }
1934
1935 static int digestsign_test_run(EVP_TEST *t)
1936 {
1937     DIGESTSIGN_DATA *mdata = t->data;
1938     unsigned char *buf = NULL;
1939     size_t buflen;
1940
1941     if (!evp_test_buffer_do(mdata->input, digestsign_update_fn, mdata->ctx)) {
1942         t->err = "DIGESTUPDATE_ERROR";
1943         goto err;
1944     }
1945
1946     if (!EVP_DigestSignFinal(mdata->ctx, NULL, &buflen)) {
1947         t->err = "DIGESTSIGNFINAL_LENGTH_ERROR";
1948         goto err;
1949     }
1950     if (!TEST_ptr(buf = OPENSSL_malloc(buflen))) {
1951         t->err = "MALLOC_FAILURE";
1952         goto err;
1953     }
1954     if (!EVP_DigestSignFinal(mdata->ctx, buf, &buflen)) {
1955         t->err = "DIGESTSIGNFINAL_ERROR";
1956         goto err;
1957     }
1958     if (!compare_mem(mdata->output, mdata->output_len, buf, buflen)) {
1959         t->err = "SIGNATURE_MISMATCH";
1960         goto err;
1961     }
1962
1963  err:
1964     OPENSSL_free(buf);
1965     return 1;
1966 }
1967
1968 static const EVP_TEST_METHOD digestsign_test_method = {
1969     "DigestSign",
1970     digestsign_test_init,
1971     digestsigver_test_cleanup,
1972     digestsigver_test_parse,
1973     digestsign_test_run
1974 };
1975
1976 static int digestverify_test_init(EVP_TEST *t, const char *alg)
1977 {
1978     return digestsigver_test_init(t, alg, 1, 0);
1979 }
1980
1981 static int digestverify_update_fn(void *ctx, const unsigned char *buf,
1982                                   size_t buflen)
1983 {
1984     return EVP_DigestVerifyUpdate(ctx, buf, buflen);
1985 }
1986
1987 static int digestverify_test_run(EVP_TEST *t)
1988 {
1989     DIGESTSIGN_DATA *mdata = t->data;
1990
1991     if (!evp_test_buffer_do(mdata->input, digestverify_update_fn, mdata->ctx)) {
1992         t->err = "DIGESTUPDATE_ERROR";
1993         return 1;
1994     }
1995
1996     if (EVP_DigestVerifyFinal(mdata->ctx, mdata->output,
1997                               mdata->output_len) <= 0)
1998         t->err = "VERIFY_ERROR";
1999     return 1;
2000 }
2001
2002 static const EVP_TEST_METHOD digestverify_test_method = {
2003     "DigestVerify",
2004     digestverify_test_init,
2005     digestsigver_test_cleanup,
2006     digestsigver_test_parse,
2007     digestverify_test_run
2008 };
2009
2010 static int oneshot_digestsign_test_init(EVP_TEST *t, const char *alg)
2011 {
2012     return digestsigver_test_init(t, alg, 0, 1);
2013 }
2014
2015 static int oneshot_digestsign_test_run(EVP_TEST *t)
2016 {
2017     DIGESTSIGN_DATA *mdata = t->data;
2018     unsigned char *buf = NULL;
2019     size_t buflen;
2020
2021     if (!EVP_DigestSign(mdata->ctx, NULL, &buflen, mdata->osin,
2022                         mdata->osin_len)) {
2023         t->err = "DIGESTSIGN_LENGTH_ERROR";
2024         goto err;
2025     }
2026     if (!TEST_ptr(buf = OPENSSL_malloc(buflen))) {
2027         t->err = "MALLOC_FAILURE";
2028         goto err;
2029     }
2030     if (!EVP_DigestSign(mdata->ctx, buf, &buflen, mdata->osin,
2031                         mdata->osin_len)) {
2032         t->err = "DIGESTSIGN_ERROR";
2033         goto err;
2034     }
2035     if (!compare_mem(mdata->output, mdata->output_len, buf, buflen)) {
2036         t->err = "SIGNATURE_MISMATCH";
2037         goto err;
2038     }
2039
2040  err:
2041     OPENSSL_free(buf);
2042     return 1;
2043 }
2044
2045 static const EVP_TEST_METHOD oneshot_digestsign_test_method = {
2046     "OneShotDigestSign",
2047     oneshot_digestsign_test_init,
2048     digestsigver_test_cleanup,
2049     digestsigver_test_parse,
2050     oneshot_digestsign_test_run
2051 };
2052
2053 static int oneshot_digestverify_test_init(EVP_TEST *t, const char *alg)
2054 {
2055     return digestsigver_test_init(t, alg, 1, 1);
2056 }
2057
2058 static int oneshot_digestverify_test_run(EVP_TEST *t)
2059 {
2060     DIGESTSIGN_DATA *mdata = t->data;
2061
2062     if (EVP_DigestVerify(mdata->ctx, mdata->output, mdata->output_len,
2063                          mdata->osin, mdata->osin_len) <= 0)
2064         t->err = "VERIFY_ERROR";
2065     return 1;
2066 }
2067
2068 static const EVP_TEST_METHOD oneshot_digestverify_test_method = {
2069     "OneShotDigestVerify",
2070     oneshot_digestverify_test_init,
2071     digestsigver_test_cleanup,
2072     digestsigver_test_parse,
2073     oneshot_digestverify_test_run
2074 };
2075
2076
2077 /**
2078 ***  PARSING AND DISPATCH
2079 **/
2080
2081 static const EVP_TEST_METHOD *evp_test_list[] = {
2082     &cipher_test_method,
2083     &digest_test_method,
2084     &digestsign_test_method,
2085     &digestverify_test_method,
2086     &encode_test_method,
2087     &kdf_test_method,
2088     &keypair_test_method,
2089     &mac_test_method,
2090     &oneshot_digestsign_test_method,
2091     &oneshot_digestverify_test_method,
2092     &pbe_test_method,
2093     &pdecrypt_test_method,
2094     &pderive_test_method,
2095     &psign_test_method,
2096     &pverify_recover_test_method,
2097     &pverify_test_method,
2098     NULL
2099 };
2100
2101 static const EVP_TEST_METHOD *find_test(const char *name)
2102 {
2103     const EVP_TEST_METHOD **tt;
2104
2105     for (tt = evp_test_list; *tt; tt++) {
2106         if (strcmp(name, (*tt)->name) == 0)
2107             return *tt;
2108     }
2109     return NULL;
2110 }
2111
2112 static void clear_test(EVP_TEST *t)
2113 {
2114     ERR_clear_error();
2115     if (t->data != NULL) {
2116         if (t->meth != NULL)
2117             t->meth->cleanup(t);
2118         OPENSSL_free(t->data);
2119         t->data = NULL;
2120     }
2121     OPENSSL_free(t->expected_err);
2122     t->expected_err = NULL;
2123     OPENSSL_free(t->func);
2124     t->func = NULL;
2125     OPENSSL_free(t->reason);
2126     t->reason = NULL;
2127     /* Text literal. */
2128     t->err = NULL;
2129     t->skip = 0;
2130     t->meth = NULL;
2131 }
2132
2133 /*
2134  * Check for errors in the test structure; return 1 if okay, else 0.
2135  */
2136 static int check_test_error(EVP_TEST *t)
2137 {
2138     unsigned long err;
2139     const char *func;
2140     const char *reason;
2141
2142     if (t->err == NULL && t->expected_err == NULL)
2143         return 1;
2144     if (t->err != NULL && t->expected_err == NULL) {
2145         if (t->aux_err != NULL) {
2146             TEST_info("Above error from the test at %s:%d "
2147                       "(%s) unexpected error %s",
2148                       current_test_file, t->start_line, t->aux_err, t->err);
2149         } else {
2150             TEST_info("Above error from the test at %s:%d "
2151                       "unexpected error %s",
2152                       current_test_file, t->start_line, t->err);
2153         }
2154         return 0;
2155     }
2156     if (t->err == NULL && t->expected_err != NULL) {
2157         TEST_info("Test line %d: succeeded but was expecting %s",
2158                   t->start_line, t->expected_err);
2159         return 0;
2160     }
2161
2162     if (strcmp(t->err, t->expected_err) != 0) {
2163         TEST_info("Test line %d: expecting %s got %s",
2164                   t->start_line, t->expected_err, t->err);
2165         return 0;
2166     }
2167
2168     if (t->func == NULL && t->reason == NULL)
2169         return 1;
2170
2171     if (t->func == NULL || t->reason == NULL) {
2172         TEST_info("Test line %d: missing function or reason code",
2173                   t->start_line);
2174         return 0;
2175     }
2176
2177     err = ERR_peek_error();
2178     if (err == 0) {
2179         TEST_info("Test line %d, expected error \"%s:%s\" not set",
2180                   t->start_line, t->func, t->reason);
2181         return 0;
2182     }
2183
2184     func = ERR_func_error_string(err);
2185     reason = ERR_reason_error_string(err);
2186     if (func == NULL && reason == NULL) {
2187         TEST_info("Test line %d: expected error \"%s:%s\","
2188                   " no strings available.  Skipping...\n",
2189                   t->start_line, t->func, t->reason);
2190         return 1;
2191     }
2192
2193     if (strcmp(func, t->func) == 0 && strcmp(reason, t->reason) == 0)
2194         return 1;
2195
2196     TEST_info("Test line %d: expected error \"%s:%s\", got \"%s:%s\"",
2197               t->start_line, t->func, t->reason, func, reason);
2198
2199     return 0;
2200 }
2201
2202 /*
2203  * Run a parsed test. Log a message and return 0 on error.
2204  */
2205 static int run_test(EVP_TEST *t)
2206 {
2207     if (t->meth == NULL)
2208         return 1;
2209     t->ntests++;
2210     if (t->skip) {
2211         t->nskip++;
2212     } else {
2213         /* run the test */
2214         if (t->err == NULL && t->meth->run_test(t) != 1) {
2215             TEST_info("Line %d error %s", t->start_line, t->meth->name);
2216             return 0;
2217         }
2218         if (!check_test_error(t)) {
2219             test_openssl_errors();
2220             t->errors++;
2221         }
2222     }
2223
2224     /* clean it up */
2225     return 1;
2226 }
2227
2228 static int find_key(EVP_PKEY **ppk, const char *name, KEY_LIST *lst)
2229 {
2230     for (; lst != NULL; lst = lst->next) {
2231         if (strcmp(lst->name, name) == 0) {
2232             if (ppk != NULL)
2233                 *ppk = lst->key;
2234             return 1;
2235         }
2236     }
2237     return 0;
2238 }
2239
2240 static void free_key_list(KEY_LIST *lst)
2241 {
2242     while (lst != NULL) {
2243         KEY_LIST *next = lst->next;
2244
2245         EVP_PKEY_free(lst->key);
2246         OPENSSL_free(lst->name);
2247         OPENSSL_free(lst);
2248         lst = next;
2249     }
2250 }
2251
2252
2253 /*
2254  * Read a line, remove the newline, return EOF or first char.
2255  * Comment lines are treated like empty lines.
2256  */
2257 static int read_line(EVP_TEST *t)
2258 {
2259     char *p;
2260
2261     if (!BIO_gets(t->in, t->buf, sizeof(t->buf)))
2262         return EOF;
2263     t->line++;
2264     if ((p = strchr(t->buf, '\n')) != NULL)
2265         *p = '\0';
2266     if (t->buf[0] == '#')
2267         t->buf[0] = '\0';
2268     return t->buf[0];
2269 }
2270
2271 /*
2272  * Skip leading spaces and remove trailing spaces from string.
2273  */
2274 static char *strip_spaces(char *pval)
2275 {
2276     char *p, *start;
2277
2278     for (start = pval; isspace(*start); )
2279         start++;
2280     if (*start == '\0')
2281         return start;
2282
2283     for (p = start + strlen(start); --p >= start && isspace(*p); )
2284         *p = '\0';
2285     return start;
2286 }
2287
2288 /*
2289  * Split line into 'key = value'; return 1 if okay, 0 on error.
2290  */
2291 static int split_line(EVP_TEST *t, char **keyword, char **value)
2292 {
2293     char *p;
2294
2295     /* Look for = sign */
2296     if ((p = strchr(t->buf, '=')) == NULL) {
2297         TEST_error("Line %d: Missing '=' in test file", t->line);
2298         return 0;
2299     }
2300     *p++ = '\0';
2301     *keyword = strip_spaces(t->buf);
2302     *value = strip_spaces(p);
2303     if (**keyword == '\0') {
2304         TEST_error("Line %d: Missing key; malformed input line", t->line);
2305         return 0;
2306     }
2307     return 1;
2308 }
2309
2310 /*
2311  * Read a PEM block.  Return 1 if okay, 0 on error.
2312  */
2313 static int read_key(EVP_TEST *t)
2314 {
2315     char tmpbuf[128];
2316
2317     if (t->key == NULL) {
2318         if (!TEST_ptr(t->key = BIO_new(BIO_s_mem())))
2319             return 0;
2320     } else if (!TEST_int_gt(BIO_reset(t->key), 0)) {
2321         return 0;
2322     }
2323
2324     /* Read to PEM end line and place content in memory BIO */
2325     while (BIO_gets(t->in, tmpbuf, sizeof(tmpbuf))) {
2326         t->line++;
2327         if (!TEST_int_gt(BIO_puts(t->key, tmpbuf), 0))
2328             return 0;
2329         if (strncmp(tmpbuf, "-----END", 8) == 0)
2330             return 1;
2331     }
2332     TEST_error("Can't find key end");
2333     return 0;
2334 }
2335
2336 /*
2337  * Is the key type an unsupported algorithm?
2338  */
2339 static int key_unsupported()
2340 {
2341     long err = ERR_peek_error();
2342
2343     if (ERR_GET_LIB(err) == ERR_LIB_EVP
2344             && ERR_GET_REASON(err) == EVP_R_UNSUPPORTED_ALGORITHM) {
2345         ERR_clear_error();
2346         return 1;
2347     }
2348 #ifndef OPENSSL_NO_EC
2349     /*
2350      * If EC support is enabled we should catch also EC_R_UNKNOWN_GROUP as an
2351      * hint to an unsupported algorithm/curve (e.g. if binary EC support is
2352      * disabled).
2353      */
2354     if (ERR_GET_LIB(err) == ERR_LIB_EC
2355         && ERR_GET_REASON(err) == EC_R_UNKNOWN_GROUP) {
2356         ERR_clear_error();
2357         return 1;
2358     }
2359 #endif /* OPENSSL_NO_EC */
2360     return 0;
2361 }
2362
2363 /*
2364  * Read, parse, and execute one test.  Return EOF; 0 if failure, 1 if okay.
2365  */
2366 static int read_stanza(EVP_TEST *t)
2367 {
2368     int c;
2369     char *keyword, *value;
2370     KEY_LIST **klist, *key;
2371     EVP_PKEY *pkey;
2372
2373     clear_test(t);
2374 top:
2375     /* Find the first line of a stanza. */
2376     for ( ; ; ) {
2377         c = read_line(t);
2378         if (c == EOF)
2379             return EOF;
2380         if (c == '\0')
2381             continue;
2382         break;
2383     }
2384     if (!split_line(t, &keyword, &value))
2385         return 0;
2386
2387     /* Handle a few special cases here. */
2388     if (strcmp(keyword, "Title") == 0) {
2389         TEST_info("Starting \"%s\" tests", value);
2390         goto top;
2391     }
2392
2393     klist = NULL;
2394     pkey = NULL;
2395     if (strcmp(keyword, "PrivateKey") == 0) {
2396         if (!read_key(t))
2397             return 0;
2398         pkey = PEM_read_bio_PrivateKey(t->key, NULL, 0, NULL);
2399         if (pkey == NULL && !key_unsupported()) {
2400             TEST_info("Can't read private key %s", value);
2401             ERR_print_errors_fp(stderr);
2402             return 0;
2403         }
2404         klist = &private_keys;
2405     }
2406     else if (strcmp(keyword, "PublicKey") == 0) {
2407         if (!read_key(t))
2408             return 0;
2409         pkey = PEM_read_bio_PUBKEY(t->key, NULL, 0, NULL);
2410         if (pkey == NULL && !key_unsupported()) {
2411             TEST_info("Can't read public key %s", value);
2412             ERR_print_errors_fp(stderr);
2413             return 0;
2414         }
2415         klist = &public_keys;
2416     }
2417
2418     /* If we have a key add to list */
2419     if (klist != NULL) {
2420         if (find_key(NULL, value, *klist)) {
2421             TEST_info("Duplicate key %s", value);
2422             return 0;
2423         }
2424         if (!TEST_ptr(key = OPENSSL_malloc(sizeof(*key)))
2425                 || !TEST_ptr(key->name = OPENSSL_strdup(value)))
2426             return 0;
2427         key->key = pkey;
2428         key->next = *klist;
2429         *klist = key;
2430
2431         /* Go back and start a new stanza. */
2432         goto top;
2433     }
2434
2435     /* Start of a new text.  Look it up. */
2436     if (!TEST_ptr(t->meth = find_test(keyword)))
2437         goto skiptoend;
2438     t->start_line = t->line;
2439     if (!t->meth->init(t, value)) {
2440         TEST_error("unknown %s: %s\n", keyword, value);
2441         goto skiptoend;
2442     }
2443     if (t->skip == 1) {
2444         /* TEST_info("skipping %s %s", keyword, value); */
2445         goto skiptoend;
2446     }
2447
2448     /* Read rest of stanza. */
2449     for ( ; ; ) {
2450         c = read_line(t);
2451         if (c == EOF)
2452             return c;
2453         if (c == '\0')
2454             break;
2455         if (!split_line(t, &keyword, &value))
2456             goto skiptoend;
2457         if (strcmp(keyword, "Result") == 0) {
2458             if (t->expected_err != NULL) {
2459                 TEST_info("Line %d: multiple result lines", t->line);
2460                 goto skiptoend;
2461             }
2462             if (!TEST_ptr(t->expected_err = OPENSSL_strdup(value)))
2463                 goto skiptoend;
2464         } else if (strcmp(keyword, "Function") == 0) {
2465             if (t->func != NULL) {
2466                 TEST_info("Line %d: multiple function lines\n", t->line);
2467                 goto skiptoend;
2468             }
2469             if (!TEST_ptr(t->func = OPENSSL_strdup(value)))
2470                 goto skiptoend;
2471         } else if (strcmp(keyword, "Reason") == 0) {
2472             if (t->reason != NULL) {
2473                 TEST_info("Line %d: multiple reason lines", t->line);
2474                 goto skiptoend;
2475             }
2476             if (!TEST_ptr(t->reason = OPENSSL_strdup(value)))
2477                 goto skiptoend;
2478         } else {
2479             /* Must be test specific line: try to parse it */
2480             int rv = t->meth->parse(t, keyword, value);
2481
2482             if (rv == 0) {
2483                 TEST_info("Line %d: unknown keyword %s", t->line, keyword);
2484                 goto skiptoend;
2485             }
2486             if (rv < 0) {
2487                 TEST_info("Line %d: error processing keyword %s\n",
2488                         t->line, keyword);
2489                 goto skiptoend;
2490             }
2491         }
2492     }
2493
2494     return 1;
2495
2496 skiptoend:
2497     /* Read to end of stanza and return failure */
2498     for ( ; ; ) {
2499         c = read_line(t);
2500         if (c == EOF)
2501             return EOF;
2502         if (c == '\0')
2503             break;
2504     }
2505     return 0;
2506 }
2507
2508 static int do_test_file(const char *testfile)
2509 {
2510     BIO *in;
2511     EVP_TEST t;
2512     int c;
2513
2514     set_test_title(testfile);
2515     current_test_file = testfile;
2516     if (!TEST_ptr(in = BIO_new_file(testfile, "rb")))
2517         return 0;
2518     memset(&t, 0, sizeof(t));
2519     t.in = in;
2520
2521     TEST_info("Reading %s", testfile);
2522     for ( ; ; ) {
2523         c = read_stanza(&t);
2524         if (t.skip)
2525             continue;
2526         if (c == 0 || !run_test(&t)) {
2527             t.errors++;
2528             break;
2529         }
2530         if (c == EOF)
2531             break;
2532     }
2533     clear_test(&t);
2534
2535     TEST_info("Completed %d tests with %d errors and %d skipped",
2536               t.ntests, t.errors, t.nskip);
2537     free_key_list(public_keys);
2538     free_key_list(private_keys);
2539     BIO_free(t.key);
2540     BIO_free(in);
2541     return t.errors == 0;
2542 }
2543
2544 static char * const *testfiles;
2545
2546 static int run_file_tests(int i)
2547 {
2548     return do_test_file(testfiles[i]);
2549 }
2550
2551 int test_main(int argc, char *argv[])
2552 {
2553     if (argc < 2) {
2554         TEST_error("Usage: %s file...", argv[0]);
2555         return 0;
2556     }
2557     testfiles = &argv[1];
2558
2559     ADD_ALL_TESTS(run_file_tests, argc - 1);
2560
2561     return run_tests(argv[0]);
2562 }