test/evp_test.c

   1 /*
   2  * Copyright 2015-2017 The OpenSSL Project Authors. All Rights Reserved.
   3  *
   4  * Licensed under the OpenSSL license (the "License").  You may not use
   5  * this file except in compliance with the License.  You can obtain a copy
   6  * in the file LICENSE in the source distribution or at
   7  * https://www.openssl.org/source/license.html
   8  */
   9
  10 #include <stdio.h>
  11 #include <string.h>
  12 #include <stdlib.h>
  13 #include <ctype.h>
  14 #include <openssl/evp.h>
  15 #include <openssl/pem.h>
  16 #include <openssl/err.h>
  17 #include <openssl/x509v3.h>
  18 #include <openssl/pkcs12.h>
  19 #include <openssl/kdf.h>
  20 #include "internal/numbers.h"
  21
  22 /* Remove spaces from beginning and end of a string */
  23
  24 static void remove_space(char **pval)
  25 {
  26     unsigned char *p = (unsigned char *)*pval, *beginning;
  27
  28     while (isspace(*p))
  29         p++;
  30
  31     *pval = (char *)(beginning = p);
  32
  33     p = p + strlen(*pval) - 1;
  34
  35     /* Remove trailing space */
  36     while (p >= beginning && isspace(*p))
  37         *p-- = 0;
  38 }
  39
  40 /*
  41  * Given a line of the form:
  42  *      name = value # comment
  43  * extract name and value. NB: modifies passed buffer.
  44  */
  45
  46 static int parse_line(char **pkw, char **pval, char *linebuf)
  47 {
  48     char *p;
  49
  50     p = linebuf + strlen(linebuf) - 1;
  51
  52     if (*p != '\n') {
  53         fprintf(stderr, "FATAL: missing EOL\n");
  54         exit(1);
  55     }
  56
  57     /* Look for # */
  58
  59     p = strchr(linebuf, '#');
  60
  61     if (p)
  62         *p = '\0';
  63
  64     /* Look for = sign */
  65     p = strchr(linebuf, '=');
  66
  67     /* If no '=' exit */
  68     if (!p)
  69         return 0;
  70
  71     *p++ = '\0';
  72
  73     *pkw = linebuf;
  74     *pval = p;
  75
  76     /* Remove spaces from keyword and value */
  77     remove_space(pkw);
  78     remove_space(pval);
  79
  80     return 1;
  81 }
  82
  83 /*
  84  * Unescape some escape sequences in string literals.
  85  * Return the result in a newly allocated buffer.
  86  * Currently only supports '\n'.
  87  * If the input length is 0, returns a valid 1-byte buffer, but sets
  88  * the length to 0.
  89  */
  90 static unsigned char* unescape(const char *input, size_t input_len,
  91                                size_t *out_len)
  92 {
  93     unsigned char *ret, *p;
  94     size_t i;
  95     if (input_len == 0) {
  96         *out_len = 0;
  97         return OPENSSL_zalloc(1);
  98     }
  99
 100     /* Escaping is non-expanding; over-allocate original size for simplicity. */
 101     ret = p = OPENSSL_malloc(input_len);
 102     if (ret == NULL)
 103         return NULL;
 104
 105     for (i = 0; i < input_len; i++) {
 106         if (input[i] == '\\') {
 107             if (i == input_len - 1 || input[i+1] != 'n')
 108                 goto err;
 109             *p++ = '\n';
 110             i++;
 111         } else {
 112             *p++ = input[i];
 113         }
 114     }
 115
 116     *out_len = p - ret;
 117     return ret;
 118
 119  err:
 120     OPENSSL_free(ret);
 121     return NULL;
 122 }
 123
 124 /* For a hex string "value" convert to a binary allocated buffer */
 125 static int test_bin(const char *value, unsigned char **buf, size_t *buflen)
 126 {
 127     long len;
 128
 129     *buflen = 0;
 130
 131     /* Check for empty value */
 132     if (!*value) {
 133         /*
 134          * Don't return NULL for zero length buffer.
 135          * This is needed for some tests with empty keys: HMAC_Init_ex() expects
 136          * a non-NULL key buffer even if the key length is 0, in order to detect
 137          * key reset.
 138          */
 139         *buf = OPENSSL_malloc(1);
 140         if (!*buf)
 141             return 0;
 142         **buf = 0;
 143         *buflen = 0;
 144         return 1;
 145     }
 146
 147     /* Check for NULL literal */
 148     if (strcmp(value, "NULL") == 0) {
 149         *buf = NULL;
 150         *buflen = 0;
 151         return 1;
 152     }
 153
 154     /* Check for string literal */
 155     if (value[0] == '"') {
 156         size_t vlen;
 157         value++;
 158         vlen = strlen(value);
 159         if (value[vlen - 1] != '"')
 160             return 0;
 161         vlen--;
 162         *buf = unescape(value, vlen, buflen);
 163         if (*buf == NULL)
 164             return 0;
 165         return 1;
 166     }
 167
 168     /* Otherwise assume as hex literal and convert it to binary buffer */
 169     *buf = OPENSSL_hexstr2buf(value, &len);
 170     if (!*buf) {
 171         fprintf(stderr, "Value=%s\n", value);
 172         ERR_print_errors_fp(stderr);
 173         return -1;
 174     }
 175     /* Size of input buffer means we'll never overflow */
 176     *buflen = len;
 177     return 1;
 178 }
 179 #ifndef OPENSSL_NO_SCRYPT
 180 /* Currently only used by scrypt tests */
 181 /* Parse unsigned decimal 64 bit integer value */
 182 static int test_uint64(const char *value, uint64_t *pr)
 183 {
 184     const char *p = value;
 185     if (!*p) {
 186         fprintf(stderr, "Invalid empty integer value\n");
 187         return -1;
 188     }
 189     *pr = 0;
 190     while (*p) {
 191         if (*pr > UINT64_MAX/10) {
 192             fprintf(stderr, "Integer string overflow value=%s\n", value);
 193             return -1;
 194         }
 195         *pr *= 10;
 196         if (*p < '0' || *p > '9') {
 197             fprintf(stderr, "Invalid integer string value=%s\n", value);
 198             return -1;
 199         }
 200         *pr += *p - '0';
 201         p++;
 202     }
 203     return 1;
 204 }
 205 #endif
 206
 207 /* Structure holding test information */
 208 struct evp_test {
 209     /* file being read */
 210     BIO *in;
 211     /* temp memory BIO for reading in keys */
 212     BIO *key;
 213     /* List of public and private keys */
 214     struct key_list *private;
 215     struct key_list *public;
 216     /* method for this test */
 217     const struct evp_test_method *meth;
 218     /* current line being processed */
 219     unsigned int line;
 220     /* start line of current test */
 221     unsigned int start_line;
 222     /* Error string for test */
 223     const char *err, *aux_err;
 224     /* Expected error value of test */
 225     char *expected_err;
 226     /* Expected error function string */
 227     char *func;
 228     /* Expected error reason string */
 229     char *reason;
 230     /* Number of tests */
 231     int ntests;
 232     /* Error count */
 233     int errors;
 234     /* Number of tests skipped */
 235     int nskip;
 236     /* If output mismatch expected and got value */
 237     unsigned char *out_received;
 238     size_t out_received_len;
 239     unsigned char *out_expected;
 240     size_t out_expected_len;
 241     /* test specific data */
 242     void *data;
 243     /* Current test should be skipped */
 244     int skip;
 245 };
 246
 247 struct key_list {
 248     char *name;
 249     EVP_PKEY *key;
 250     struct key_list *next;
 251 };
 252
 253 /* Test method structure */
 254 struct evp_test_method {
 255     /* Name of test as it appears in file */
 256     const char *name;
 257     /* Initialise test for "alg" */
 258     int (*init) (struct evp_test * t, const char *alg);
 259     /* Clean up method */
 260     void (*cleanup) (struct evp_test * t);
 261     /* Test specific name value pair processing */
 262     int (*parse) (struct evp_test * t, const char *name, const char *value);
 263     /* Run the test itself */
 264     int (*run_test) (struct evp_test * t);
 265 };
 266
 267 static const struct evp_test_method digest_test_method, cipher_test_method;
 268 static const struct evp_test_method mac_test_method;
 269 static const struct evp_test_method psign_test_method, pverify_test_method;
 270 static const struct evp_test_method pdecrypt_test_method;
 271 static const struct evp_test_method pverify_recover_test_method;
 272 static const struct evp_test_method pderive_test_method;
 273 static const struct evp_test_method pbe_test_method;
 274 static const struct evp_test_method encode_test_method;
 275 static const struct evp_test_method kdf_test_method;
 276
 277 static const struct evp_test_method *evp_test_list[] = {
 278     &digest_test_method,
 279     &cipher_test_method,
 280     &mac_test_method,
 281     &psign_test_method,
 282     &pverify_test_method,
 283     &pdecrypt_test_method,
 284     &pverify_recover_test_method,
 285     &pderive_test_method,
 286     &pbe_test_method,
 287     &encode_test_method,
 288     &kdf_test_method,
 289     NULL
 290 };
 291
 292 static const struct evp_test_method *evp_find_test(const char *name)
 293 {
 294     const struct evp_test_method **tt;
 295
 296     for (tt = evp_test_list; *tt; tt++) {
 297         if (strcmp(name, (*tt)->name) == 0)
 298             return *tt;
 299     }
 300     return NULL;
 301 }
 302
 303 static void hex_print(const char *name, const unsigned char *buf, size_t len)
 304 {
 305     size_t i;
 306     fprintf(stderr, "%s ", name);
 307     for (i = 0; i < len; i++)
 308         fprintf(stderr, "%02X", buf[i]);
 309     fputs("\n", stderr);
 310 }
 311
 312 static void free_expected(struct evp_test *t)
 313 {
 314     OPENSSL_free(t->expected_err);
 315     t->expected_err = NULL;
 316     OPENSSL_free(t->func);
 317     t->func = NULL;
 318     OPENSSL_free(t->reason);
 319     t->reason = NULL;
 320     OPENSSL_free(t->out_expected);
 321     OPENSSL_free(t->out_received);
 322     t->out_expected = NULL;
 323     t->out_received = NULL;
 324     t->out_expected_len = 0;
 325     t->out_received_len = 0;
 326     /* Literals. */
 327     t->err = NULL;
 328 }
 329
 330 static void print_expected(struct evp_test *t)
 331 {
 332     if (t->out_expected == NULL && t->out_received == NULL)
 333         return;
 334     hex_print("Expected:", t->out_expected, t->out_expected_len);
 335     hex_print("Got:     ", t->out_received, t->out_received_len);
 336     free_expected(t);
 337 }
 338
 339 static int check_test_error(struct evp_test *t)
 340 {
 341     unsigned long err;
 342     const char *func;
 343     const char *reason;
 344     if (!t->err && !t->expected_err)
 345         return 1;
 346     if (t->err && !t->expected_err) {
 347         if (t->aux_err != NULL) {
 348             fprintf(stderr, "Test line %d(%s): unexpected error %s\n",
 349                     t->start_line, t->aux_err, t->err);
 350         } else {
 351             fprintf(stderr, "Test line %d: unexpected error %s\n",
 352                     t->start_line, t->err);
 353         }
 354         print_expected(t);
 355         return 0;
 356     }
 357     if (!t->err && t->expected_err) {
 358         fprintf(stderr, "Test line %d: succeeded expecting %s\n",
 359                 t->start_line, t->expected_err);
 360         return 0;
 361     }
 362
 363     if (strcmp(t->err, t->expected_err) != 0) {
 364         fprintf(stderr, "Test line %d: expecting %s got %s\n",
 365                 t->start_line, t->expected_err, t->err);
 366         return 0;
 367     }
 368
 369     if (t->func == NULL && t->reason == NULL)
 370         return 1;
 371
 372     if (t->func == NULL || t->reason == NULL) {
 373         fprintf(stderr, "Test line %d: missing function or reason code\n",
 374                 t->start_line);
 375         return 0;
 376     }
 377
 378     err = ERR_peek_error();
 379     if (err == 0) {
 380         fprintf(stderr, "Test line %d, expected error \"%s:%s\" not set\n",
 381                 t->start_line, t->func, t->reason);
 382         return 0;
 383     }
 384
 385     func = ERR_func_error_string(err);
 386     reason = ERR_reason_error_string(err);
 387
 388     if (func == NULL && reason == NULL) {
 389         fprintf(stderr, "Test line %d: expected error \"%s:%s\", no strings available.  Skipping...\n",
 390                 t->start_line, t->func, t->reason);
 391         return 1;
 392     }
 393
 394     if (strcmp(func, t->func) == 0 && strcmp(reason, t->reason) == 0)
 395         return 1;
 396
 397     fprintf(stderr, "Test line %d: expected error \"%s:%s\", got \"%s:%s\"\n",
 398             t->start_line, t->func, t->reason, func, reason);
 399
 400     return 0;
 401 }
 402
 403 /* Setup a new test, run any existing test */
 404
 405 static int setup_test(struct evp_test *t, const struct evp_test_method *tmeth)
 406 {
 407     /* If we already have a test set up run it */
 408     if (t->meth) {
 409         t->ntests++;
 410         if (t->skip) {
 411             t->nskip++;
 412         } else {
 413             /* run the test */
 414             if (t->err == NULL && t->meth->run_test(t) != 1) {
 415                 fprintf(stderr, "%s test error line %d\n",
 416                         t->meth->name, t->start_line);
 417                 return 0;
 418             }
 419             if (!check_test_error(t)) {
 420                 if (t->err)
 421                     ERR_print_errors_fp(stderr);
 422                 t->errors++;
 423             }
 424         }
 425         /* clean it up */
 426         ERR_clear_error();
 427         if (t->data != NULL) {
 428             t->meth->cleanup(t);
 429             OPENSSL_free(t->data);
 430             t->data = NULL;
 431         }
 432         OPENSSL_free(t->expected_err);
 433         t->expected_err = NULL;
 434         free_expected(t);
 435     }
 436     t->meth = tmeth;
 437     return 1;
 438 }
 439
 440 static int find_key(EVP_PKEY **ppk, const char *name, struct key_list *lst)
 441 {
 442     for (; lst; lst = lst->next) {
 443         if (strcmp(lst->name, name) == 0) {
 444             if (ppk)
 445                 *ppk = lst->key;
 446             return 1;
 447         }
 448     }
 449     return 0;
 450 }
 451
 452 static void free_key_list(struct key_list *lst)
 453 {
 454     while (lst != NULL) {
 455         struct key_list *ltmp;
 456         EVP_PKEY_free(lst->key);
 457         OPENSSL_free(lst->name);
 458         ltmp = lst->next;
 459         OPENSSL_free(lst);
 460         lst = ltmp;
 461     }
 462 }
 463
 464 static int check_unsupported()
 465 {
 466     long err = ERR_peek_error();
 467     if (ERR_GET_LIB(err) == ERR_LIB_EVP
 468         && ERR_GET_REASON(err) == EVP_R_UNSUPPORTED_ALGORITHM) {
 469         ERR_clear_error();
 470         return 1;
 471     }
 472 #ifndef OPENSSL_NO_EC
 473     /*
 474      * If EC support is enabled we should catch also EC_R_UNKNOWN_GROUP as an
 475      * hint to an unsupported algorithm/curve (e.g. if binary EC support is
 476      * disabled).
 477      */
 478     if (ERR_GET_LIB(err) == ERR_LIB_EC
 479         && ERR_GET_REASON(err) == EC_R_UNKNOWN_GROUP) {
 480         ERR_clear_error();
 481         return 1;
 482     }
 483 #endif /* OPENSSL_NO_EC */
 484     return 0;
 485 }
 486
 487
 488 static int read_key(struct evp_test *t)
 489 {
 490     char tmpbuf[80];
 491     if (t->key == NULL)
 492         t->key = BIO_new(BIO_s_mem());
 493     else if (BIO_reset(t->key) <= 0)
 494         return 0;
 495     if (t->key == NULL) {
 496         fprintf(stderr, "Error allocating key memory BIO\n");
 497         return 0;
 498     }
 499     /* Read to PEM end line and place content in memory BIO */
 500     while (BIO_gets(t->in, tmpbuf, sizeof(tmpbuf))) {
 501         t->line++;
 502         if (BIO_puts(t->key, tmpbuf) <= 0) {
 503             fprintf(stderr, "Error writing to key memory BIO\n");
 504             return 0;
 505         }
 506         if (strncmp(tmpbuf, "-----END", 8) == 0)
 507             return 1;
 508     }
 509     fprintf(stderr, "Can't find key end\n");
 510     return 0;
 511 }
 512
 513 static int process_test(struct evp_test *t, char *buf, int verbose)
 514 {
 515     char *keyword = NULL, *value = NULL;
 516     int rv = 0, add_key = 0;
 517     struct key_list **lst = NULL, *key = NULL;
 518     EVP_PKEY *pk = NULL;
 519     const struct evp_test_method *tmeth = NULL;
 520     if (verbose)
 521         fputs(buf, stdout);
 522     if (!parse_line(&keyword, &value, buf))
 523         return 1;
 524     if (strcmp(keyword, "PrivateKey") == 0) {
 525         if (!read_key(t))
 526             return 0;
 527         pk = PEM_read_bio_PrivateKey(t->key, NULL, 0, NULL);
 528         if (pk == NULL && !check_unsupported()) {
 529             fprintf(stderr, "Error reading private key %s\n", value);
 530             ERR_print_errors_fp(stderr);
 531             return 0;
 532         }
 533         lst = &t->private;
 534         add_key = 1;
 535     }
 536     if (strcmp(keyword, "PublicKey") == 0) {
 537         if (!read_key(t))
 538             return 0;
 539         pk = PEM_read_bio_PUBKEY(t->key, NULL, 0, NULL);
 540         if (pk == NULL && !check_unsupported()) {
 541             fprintf(stderr, "Error reading public key %s\n", value);
 542             ERR_print_errors_fp(stderr);
 543             return 0;
 544         }
 545         lst = &t->public;
 546         add_key = 1;
 547     }
 548     /* If we have a key add to list */
 549     if (add_key) {
 550         if (find_key(NULL, value, *lst)) {
 551             fprintf(stderr, "Duplicate key %s\n", value);
 552             return 0;
 553         }
 554         key = OPENSSL_malloc(sizeof(*key));
 555         if (!key)
 556             return 0;
 557         key->name = OPENSSL_strdup(value);
 558         key->key = pk;
 559         key->next = *lst;
 560         *lst = key;
 561         return 1;
 562     }
 563
 564     /* See if keyword corresponds to a test start */
 565     tmeth = evp_find_test(keyword);
 566     if (tmeth) {
 567         if (!setup_test(t, tmeth))
 568             return 0;
 569         t->start_line = t->line;
 570         t->skip = 0;
 571         if (!tmeth->init(t, value)) {
 572             fprintf(stderr, "Unknown %s: %s\n", keyword, value);
 573             return 0;
 574         }
 575         return 1;
 576     } else if (t->skip) {
 577         return 1;
 578     } else if (strcmp(keyword, "Result") == 0) {
 579         if (t->expected_err) {
 580             fprintf(stderr, "Line %d: multiple result lines\n", t->line);
 581             return 0;
 582         }
 583         t->expected_err = OPENSSL_strdup(value);
 584         if (t->expected_err == NULL)
 585             return 0;
 586     } else if (strcmp(keyword, "Function") == 0) {
 587         if (t->func != NULL) {
 588             fprintf(stderr, "Line %d: multiple function lines\n", t->line);
 589             return 0;
 590         }
 591         t->func = OPENSSL_strdup(value);
 592         if (t->func == NULL)
 593             return 0;
 594     } else if (strcmp(keyword, "Reason") == 0) {
 595         if (t->reason != NULL) {
 596             fprintf(stderr, "Line %d: multiple reason lines\n", t->line);
 597             return 0;
 598         }
 599         t->reason = OPENSSL_strdup(value);
 600         if (t->reason == NULL)
 601             return 0;
 602     } else {
 603         /* Must be test specific line: try to parse it */
 604         if (t->meth)
 605             rv = t->meth->parse(t, keyword, value);
 606
 607         if (rv == 0)
 608             fprintf(stderr, "line %d: unexpected keyword %s\n",
 609                     t->line, keyword);
 610
 611         if (rv < 0)
 612             fprintf(stderr, "line %d: error processing keyword %s\n",
 613                     t->line, keyword);
 614         if (rv <= 0)
 615             return 0;
 616     }
 617     return 1;
 618 }
 619
 620 static int check_var_length_output(struct evp_test *t,
 621                                    const unsigned char *expected,
 622                                    size_t expected_len,
 623                                    const unsigned char *received,
 624                                    size_t received_len)
 625 {
 626     if (expected_len == received_len &&
 627         memcmp(expected, received, expected_len) == 0) {
 628         return 0;
 629     }
 630
 631     /* The result printing code expects a non-NULL buffer. */
 632     t->out_expected = OPENSSL_memdup(expected, expected_len ? expected_len : 1);
 633     t->out_expected_len = expected_len;
 634     t->out_received = OPENSSL_memdup(received, received_len ? received_len : 1);
 635     t->out_received_len = received_len;
 636     if (t->out_expected == NULL || t->out_received == NULL) {
 637         fprintf(stderr, "Memory allocation error!\n");
 638         exit(1);
 639     }
 640     return 1;
 641 }
 642
 643 static int check_output(struct evp_test *t,
 644                         const unsigned char *expected,
 645                         const unsigned char *received,
 646                         size_t len)
 647 {
 648     return check_var_length_output(t, expected, len, received, len);
 649 }
 650
 651 int main(int argc, char **argv)
 652 {
 653     BIO *in = NULL;
 654     char buf[10240];
 655     struct evp_test t;
 656
 657     if (argc != 2) {
 658         fprintf(stderr, "usage: evp_test testfile.txt\n");
 659         return 1;
 660     }
 661
 662     CRYPTO_mem_ctrl(CRYPTO_MEM_CHECK_ON);
 663
 664     memset(&t, 0, sizeof(t));
 665     t.start_line = -1;
 666     in = BIO_new_file(argv[1], "rb");
 667     if (in == NULL) {
 668         fprintf(stderr, "Can't open %s for reading\n", argv[1]);
 669         return 1;
 670     }
 671     t.in = in;
 672     t.err = NULL;
 673     while (BIO_gets(in, buf, sizeof(buf))) {
 674         t.line++;
 675         if (!process_test(&t, buf, 0))
 676             exit(1);
 677     }
 678     /* Run any final test we have */
 679     if (!setup_test(&t, NULL))
 680         exit(1);
 681     fprintf(stderr, "%d tests completed with %d errors, %d skipped\n",
 682             t.ntests, t.errors, t.nskip);
 683     free_key_list(t.public);
 684     free_key_list(t.private);
 685     BIO_free(t.key);
 686     BIO_free(in);
 687
 688 #ifndef OPENSSL_NO_CRYPTO_MDEBUG
 689     if (CRYPTO_mem_leaks_fp(stderr) <= 0)
 690         return 1;
 691 #endif
 692     if (t.errors)
 693         return 1;
 694     return 0;
 695 }
 696
 697 static void test_free(void *d)
 698 {
 699     OPENSSL_free(d);
 700 }
 701
 702 /* Message digest tests */
 703
 704 struct digest_data {
 705     /* Digest this test is for */
 706     const EVP_MD *digest;
 707     /* Input to digest */
 708     unsigned char *input;
 709     size_t input_len;
 710     /* Repeat count for input */
 711     size_t nrpt;
 712     /* Expected output */
 713     unsigned char *output;
 714     size_t output_len;
 715 };
 716
 717 static int digest_test_init(struct evp_test *t, const char *alg)
 718 {
 719     const EVP_MD *digest;
 720     struct digest_data *mdat;
 721     digest = EVP_get_digestbyname(alg);
 722     if (!digest) {
 723         /* If alg has an OID assume disabled algorithm */
 724         if (OBJ_sn2nid(alg) != NID_undef || OBJ_ln2nid(alg) != NID_undef) {
 725             t->skip = 1;
 726             return 1;
 727         }
 728         return 0;
 729     }
 730     mdat = OPENSSL_malloc(sizeof(*mdat));
 731     mdat->digest = digest;
 732     mdat->input = NULL;
 733     mdat->output = NULL;
 734     mdat->nrpt = 1;
 735     t->data = mdat;
 736     return 1;
 737 }
 738
 739 static void digest_test_cleanup(struct evp_test *t)
 740 {
 741     struct digest_data *mdat = t->data;
 742     test_free(mdat->input);
 743     test_free(mdat->output);
 744 }
 745
 746 static int digest_test_parse(struct evp_test *t,
 747                              const char *keyword, const char *value)
 748 {
 749     struct digest_data *mdata = t->data;
 750     if (strcmp(keyword, "Input") == 0)
 751         return test_bin(value, &mdata->input, &mdata->input_len);
 752     if (strcmp(keyword, "Output") == 0)
 753         return test_bin(value, &mdata->output, &mdata->output_len);
 754     if (strcmp(keyword, "Count") == 0) {
 755         long nrpt = atoi(value);
 756         if (nrpt <= 0)
 757             return 0;
 758         mdata->nrpt = (size_t)nrpt;
 759         return 1;
 760     }
 761     return 0;
 762 }
 763
 764 static int digest_test_run(struct evp_test *t)
 765 {
 766     struct digest_data *mdata = t->data;
 767     size_t i;
 768     const char *err = "INTERNAL_ERROR";
 769     EVP_MD_CTX *mctx;
 770     unsigned char md[EVP_MAX_MD_SIZE];
 771     unsigned int md_len;
 772     mctx = EVP_MD_CTX_new();
 773     if (!mctx)
 774         goto err;
 775     err = "DIGESTINIT_ERROR";
 776     if (!EVP_DigestInit_ex(mctx, mdata->digest, NULL))
 777         goto err;
 778     err = "DIGESTUPDATE_ERROR";
 779     for (i = 0; i < mdata->nrpt; i++) {
 780         if (!EVP_DigestUpdate(mctx, mdata->input, mdata->input_len))
 781             goto err;
 782     }
 783     err = "DIGESTFINAL_ERROR";
 784     if (!EVP_DigestFinal(mctx, md, &md_len))
 785         goto err;
 786     err = "DIGEST_LENGTH_MISMATCH";
 787     if (md_len != mdata->output_len)
 788         goto err;
 789     err = "DIGEST_MISMATCH";
 790     if (check_output(t, mdata->output, md, md_len))
 791         goto err;
 792     err = NULL;
 793  err:
 794     EVP_MD_CTX_free(mctx);
 795     t->err = err;
 796     return 1;
 797 }
 798
 799 static const struct evp_test_method digest_test_method = {
 800     "Digest",
 801     digest_test_init,
 802     digest_test_cleanup,
 803     digest_test_parse,
 804     digest_test_run
 805 };
 806
 807 /* Cipher tests */
 808 struct cipher_data {
 809     const EVP_CIPHER *cipher;
 810     int enc;
 811     /* EVP_CIPH_GCM_MODE, EVP_CIPH_CCM_MODE or EVP_CIPH_OCB_MODE if AEAD */
 812     int aead;
 813     unsigned char *key;
 814     size_t key_len;
 815     unsigned char *iv;
 816     size_t iv_len;
 817     unsigned char *plaintext;
 818     size_t plaintext_len;
 819     unsigned char *ciphertext;
 820     size_t ciphertext_len;
 821     /* GCM, CCM only */
 822     unsigned char *aad;
 823     size_t aad_len;
 824     unsigned char *tag;
 825     size_t tag_len;
 826 };
 827
 828 static int cipher_test_init(struct evp_test *t, const char *alg)
 829 {
 830     const EVP_CIPHER *cipher;
 831     struct cipher_data *cdat = t->data;
 832     cipher = EVP_get_cipherbyname(alg);
 833     if (!cipher) {
 834         /* If alg has an OID assume disabled algorithm */
 835         if (OBJ_sn2nid(alg) != NID_undef || OBJ_ln2nid(alg) != NID_undef) {
 836             t->skip = 1;
 837             return 1;
 838         }
 839         return 0;
 840     }
 841     cdat = OPENSSL_malloc(sizeof(*cdat));
 842     cdat->cipher = cipher;
 843     cdat->enc = -1;
 844     cdat->key = NULL;
 845     cdat->iv = NULL;
 846     cdat->ciphertext = NULL;
 847     cdat->plaintext = NULL;
 848     cdat->aad = NULL;
 849     cdat->tag = NULL;
 850     t->data = cdat;
 851     if (EVP_CIPHER_mode(cipher) == EVP_CIPH_GCM_MODE
 852         || EVP_CIPHER_mode(cipher) == EVP_CIPH_OCB_MODE
 853         || EVP_CIPHER_mode(cipher) == EVP_CIPH_CCM_MODE)
 854         cdat->aead = EVP_CIPHER_mode(cipher);
 855     else if (EVP_CIPHER_flags(cipher) & EVP_CIPH_FLAG_AEAD_CIPHER)
 856         cdat->aead = -1;
 857     else
 858         cdat->aead = 0;
 859
 860     return 1;
 861 }
 862
 863 static void cipher_test_cleanup(struct evp_test *t)
 864 {
 865     struct cipher_data *cdat = t->data;
 866     test_free(cdat->key);
 867     test_free(cdat->iv);
 868     test_free(cdat->ciphertext);
 869     test_free(cdat->plaintext);
 870     test_free(cdat->aad);
 871     test_free(cdat->tag);
 872 }
 873
 874 static int cipher_test_parse(struct evp_test *t, const char *keyword,
 875                              const char *value)
 876 {
 877     struct cipher_data *cdat = t->data;
 878     if (strcmp(keyword, "Key") == 0)
 879         return test_bin(value, &cdat->key, &cdat->key_len);
 880     if (strcmp(keyword, "IV") == 0)
 881         return test_bin(value, &cdat->iv, &cdat->iv_len);
 882     if (strcmp(keyword, "Plaintext") == 0)
 883         return test_bin(value, &cdat->plaintext, &cdat->plaintext_len);
 884     if (strcmp(keyword, "Ciphertext") == 0)
 885         return test_bin(value, &cdat->ciphertext, &cdat->ciphertext_len);
 886     if (cdat->aead) {
 887         if (strcmp(keyword, "AAD") == 0)
 888             return test_bin(value, &cdat->aad, &cdat->aad_len);
 889         if (strcmp(keyword, "Tag") == 0)
 890             return test_bin(value, &cdat->tag, &cdat->tag_len);
 891     }
 892
 893     if (strcmp(keyword, "Operation") == 0) {
 894         if (strcmp(value, "ENCRYPT") == 0)
 895             cdat->enc = 1;
 896         else if (strcmp(value, "DECRYPT") == 0)
 897             cdat->enc = 0;
 898         else
 899             return 0;
 900         return 1;
 901     }
 902     return 0;
 903 }
 904
 905 static int cipher_test_enc(struct evp_test *t, int enc,
 906                            size_t out_misalign, size_t inp_misalign, int frag)
 907 {
 908     struct cipher_data *cdat = t->data;
 909     unsigned char *in, *out, *tmp = NULL;
 910     size_t in_len, out_len, donelen = 0;
 911     int tmplen, chunklen, tmpflen;
 912     EVP_CIPHER_CTX *ctx = NULL;
 913     const char *err;
 914     err = "INTERNAL_ERROR";
 915     ctx = EVP_CIPHER_CTX_new();
 916     if (!ctx)
 917         goto err;
 918     EVP_CIPHER_CTX_set_flags(ctx, EVP_CIPHER_CTX_FLAG_WRAP_ALLOW);
 919     if (enc) {
 920         in = cdat->plaintext;
 921         in_len = cdat->plaintext_len;
 922         out = cdat->ciphertext;
 923         out_len = cdat->ciphertext_len;
 924     } else {
 925         in = cdat->ciphertext;
 926         in_len = cdat->ciphertext_len;
 927         out = cdat->plaintext;
 928         out_len = cdat->plaintext_len;
 929     }
 930     if (inp_misalign == (size_t)-1) {
 931         /*
 932          * Exercise in-place encryption
 933          */
 934         tmp = OPENSSL_malloc(out_misalign + in_len + 2 * EVP_MAX_BLOCK_LENGTH);
 935         if (!tmp)
 936             goto err;
 937         in = memcpy(tmp + out_misalign, in, in_len);
 938     } else {
 939         inp_misalign += 16 - ((out_misalign + in_len) & 15);
 940         /*
 941          * 'tmp' will store both output and copy of input. We make the copy
 942          * of input to specifically aligned part of 'tmp'. So we just
 943          * figured out how much padding would ensure the required alignment,
 944          * now we allocate extended buffer and finally copy the input just
 945          * past inp_misalign in expression below. Output will be written
 946          * past out_misalign...
 947          */
 948         tmp = OPENSSL_malloc(out_misalign + in_len + 2 * EVP_MAX_BLOCK_LENGTH +
 949                              inp_misalign + in_len);
 950         if (!tmp)
 951             goto err;
 952         in = memcpy(tmp + out_misalign + in_len + 2 * EVP_MAX_BLOCK_LENGTH +
 953                     inp_misalign, in, in_len);
 954     }
 955     err = "CIPHERINIT_ERROR";
 956     if (!EVP_CipherInit_ex(ctx, cdat->cipher, NULL, NULL, NULL, enc))
 957         goto err;
 958     err = "INVALID_IV_LENGTH";
 959     if (cdat->iv) {
 960         if (cdat->aead) {
 961             if (!EVP_CIPHER_CTX_ctrl(ctx, EVP_CTRL_AEAD_SET_IVLEN,
 962                                      cdat->iv_len, 0))
 963                 goto err;
 964         } else if (cdat->iv_len != (size_t)EVP_CIPHER_CTX_iv_length(ctx))
 965             goto err;
 966     }
 967     if (cdat->aead) {
 968         unsigned char *tag;
 969         /*
 970          * If encrypting or OCB just set tag length initially, otherwise
 971          * set tag length and value.
 972          */
 973         if (enc || cdat->aead == EVP_CIPH_OCB_MODE) {
 974             err = "TAG_LENGTH_SET_ERROR";
 975             tag = NULL;
 976         } else {
 977             err = "TAG_SET_ERROR";
 978             tag = cdat->tag;
 979         }
 980         if (tag || cdat->aead != EVP_CIPH_GCM_MODE) {
 981             if (!EVP_CIPHER_CTX_ctrl(ctx, EVP_CTRL_AEAD_SET_TAG,
 982                                      cdat->tag_len, tag))
 983                 goto err;
 984         }
 985     }
 986
 987     err = "INVALID_KEY_LENGTH";
 988     if (!EVP_CIPHER_CTX_set_key_length(ctx, cdat->key_len))
 989         goto err;
 990     err = "KEY_SET_ERROR";
 991     if (!EVP_CipherInit_ex(ctx, NULL, NULL, cdat->key, cdat->iv, -1))
 992         goto err;
 993
 994     if (!enc && cdat->aead == EVP_CIPH_OCB_MODE) {
 995         if (!EVP_CIPHER_CTX_ctrl(ctx, EVP_CTRL_AEAD_SET_TAG,
 996                                  cdat->tag_len, cdat->tag)) {
 997             err = "TAG_SET_ERROR";
 998             goto err;
 999         }
1000     }
1001
1002     if (cdat->aead == EVP_CIPH_CCM_MODE) {
1003         if (!EVP_CipherUpdate(ctx, NULL, &tmplen, NULL, out_len)) {
1004             err = "CCM_PLAINTEXT_LENGTH_SET_ERROR";
1005             goto err;
1006         }
1007     }
1008     if (cdat->aad) {
1009         err = "AAD_SET_ERROR";
1010         if (!frag) {
1011             if (!EVP_CipherUpdate(ctx, NULL, &chunklen, cdat->aad,
1012                                   cdat->aad_len))
1013                 goto err;
1014         } else {
1015             /*
1016              * Supply the AAD in chunks less than the block size where possible
1017              */
1018             if (cdat->aad_len > 0) {
1019                 if (!EVP_CipherUpdate(ctx, NULL, &chunklen, cdat->aad, 1))
1020                     goto err;
1021                 donelen++;
1022             }
1023             if (cdat->aad_len > 2) {
1024                 if (!EVP_CipherUpdate(ctx, NULL, &chunklen, cdat->aad + donelen,
1025                                       cdat->aad_len - 2))
1026                     goto err;
1027                 donelen += cdat->aad_len - 2;
1028             }
1029             if (cdat->aad_len > 1
1030                     && !EVP_CipherUpdate(ctx, NULL, &chunklen,
1031                                          cdat->aad + donelen, 1))
1032                 goto err;
1033         }
1034     }
1035     EVP_CIPHER_CTX_set_padding(ctx, 0);
1036     err = "CIPHERUPDATE_ERROR";
1037     tmplen = 0;
1038     if (!frag) {
1039         /* We supply the data all in one go */
1040         if (!EVP_CipherUpdate(ctx, tmp + out_misalign, &tmplen, in, in_len))
1041             goto err;
1042     } else {
1043         /* Supply the data in chunks less than the block size where possible */
1044         if (in_len > 0) {
1045             if (!EVP_CipherUpdate(ctx, tmp + out_misalign, &chunklen, in, 1))
1046                 goto err;
1047             tmplen += chunklen;
1048             in++;
1049             in_len--;
1050         }
1051         if (in_len > 1) {
1052             if (!EVP_CipherUpdate(ctx, tmp + out_misalign + tmplen, &chunklen,
1053                                   in, in_len - 1))
1054                 goto err;
1055             tmplen += chunklen;
1056             in += in_len - 1;
1057             in_len = 1;
1058         }
1059         if (in_len > 0 ) {
1060             if (!EVP_CipherUpdate(ctx, tmp + out_misalign + tmplen, &chunklen,
1061                                   in, 1))
1062                 goto err;
1063             tmplen += chunklen;
1064         }
1065     }
1066     err = "CIPHERFINAL_ERROR";
1067     if (!EVP_CipherFinal_ex(ctx, tmp + out_misalign + tmplen, &tmpflen))
1068         goto err;
1069     err = "LENGTH_MISMATCH";
1070     if (out_len != (size_t)(tmplen + tmpflen))
1071         goto err;
1072     err = "VALUE_MISMATCH";
1073     if (check_output(t, out, tmp + out_misalign, out_len))
1074         goto err;
1075     if (enc && cdat->aead) {
1076         unsigned char rtag[16];
1077         if (cdat->tag_len > sizeof(rtag)) {
1078             err = "TAG_LENGTH_INTERNAL_ERROR";
1079             goto err;
1080         }
1081         if (!EVP_CIPHER_CTX_ctrl(ctx, EVP_CTRL_AEAD_GET_TAG,
1082                                  cdat->tag_len, rtag)) {
1083             err = "TAG_RETRIEVE_ERROR";
1084             goto err;
1085         }
1086         if (check_output(t, cdat->tag, rtag, cdat->tag_len)) {
1087             err = "TAG_VALUE_MISMATCH";
1088             goto err;
1089         }
1090     }
1091     err = NULL;
1092  err:
1093     OPENSSL_free(tmp);
1094     EVP_CIPHER_CTX_free(ctx);
1095     t->err = err;
1096     return err ? 0 : 1;
1097 }
1098
1099 static int cipher_test_run(struct evp_test *t)
1100 {
1101     struct cipher_data *cdat = t->data;
1102     int rv, frag = 0;
1103     size_t out_misalign, inp_misalign;
1104
1105     if (!cdat->key) {
1106         t->err = "NO_KEY";
1107         return 0;
1108     }
1109     if (!cdat->iv && EVP_CIPHER_iv_length(cdat->cipher)) {
1110         /* IV is optional and usually omitted in wrap mode */
1111         if (EVP_CIPHER_mode(cdat->cipher) != EVP_CIPH_WRAP_MODE) {
1112             t->err = "NO_IV";
1113             return 0;
1114         }
1115     }
1116     if (cdat->aead && !cdat->tag) {
1117         t->err = "NO_TAG";
1118         return 0;
1119     }
1120     for (out_misalign = 0; out_misalign <= 1;) {
1121         static char aux_err[64];
1122         t->aux_err = aux_err;
1123         for (inp_misalign = (size_t)-1; inp_misalign != 2; inp_misalign++) {
1124             if (inp_misalign == (size_t)-1) {
1125                 /* kludge: inp_misalign == -1 means "exercise in-place" */
1126                 BIO_snprintf(aux_err, sizeof(aux_err),
1127                              "%s in-place, %sfragmented",
1128                              out_misalign ? "misaligned" : "aligned",
1129                              frag ? "" : "not ");
1130             } else {
1131                 BIO_snprintf(aux_err, sizeof(aux_err),
1132                              "%s output and %s input, %sfragmented",
1133                              out_misalign ? "misaligned" : "aligned",
1134                              inp_misalign ? "misaligned" : "aligned",
1135                              frag ? "" : "not ");
1136             }
1137             if (cdat->enc) {
1138                 rv = cipher_test_enc(t, 1, out_misalign, inp_misalign, frag);
1139                 /* Not fatal errors: return */
1140                 if (rv != 1) {
1141                     if (rv < 0)
1142                         return 0;
1143                     return 1;
1144                 }
1145             }
1146             if (cdat->enc != 1) {
1147                 rv = cipher_test_enc(t, 0, out_misalign, inp_misalign, frag);
1148                 /* Not fatal errors: return */
1149                 if (rv != 1) {
1150                     if (rv < 0)
1151                         return 0;
1152                     return 1;
1153                 }
1154             }
1155         }
1156
1157         if (out_misalign == 1 && frag == 0) {
1158             /*
1159              * XTS, CCM and Wrap modes have special requirements about input
1160              * lengths so we don't fragment for those
1161              */
1162             if (cdat->aead == EVP_CIPH_CCM_MODE
1163                     || EVP_CIPHER_mode(cdat->cipher) == EVP_CIPH_XTS_MODE
1164                      || EVP_CIPHER_mode(cdat->cipher) == EVP_CIPH_WRAP_MODE)
1165                 break;
1166             out_misalign = 0;
1167             frag++;
1168         } else {
1169             out_misalign++;
1170         }
1171     }
1172     t->aux_err = NULL;
1173
1174     return 1;
1175 }
1176
1177 static const struct evp_test_method cipher_test_method = {
1178     "Cipher",
1179     cipher_test_init,
1180     cipher_test_cleanup,
1181     cipher_test_parse,
1182     cipher_test_run
1183 };
1184
1185 struct mac_data {
1186     /* MAC type */
1187     int type;
1188     /* Algorithm string for this MAC */
1189     char *alg;
1190     /* MAC key */
1191     unsigned char *key;
1192     size_t key_len;
1193     /* Input to MAC */
1194     unsigned char *input;
1195     size_t input_len;
1196     /* Expected output */
1197     unsigned char *output;
1198     size_t output_len;
1199 };
1200
1201 static int mac_test_init(struct evp_test *t, const char *alg)
1202 {
1203     int type;
1204     struct mac_data *mdat;
1205     if (strcmp(alg, "HMAC") == 0) {
1206         type = EVP_PKEY_HMAC;
1207     } else if (strcmp(alg, "CMAC") == 0) {
1208 #ifndef OPENSSL_NO_CMAC
1209         type = EVP_PKEY_CMAC;
1210 #else
1211         t->skip = 1;
1212         return 1;
1213 #endif
1214     } else if (strcmp(alg, "Poly1305") == 0) {
1215 #ifndef OPENSSL_NO_POLY1305
1216         type = EVP_PKEY_POLY1305;
1217 #else
1218         t->skip = 1;
1219         return 1;
1220 #endif
1221     } else if (strcmp(alg, "SipHash") == 0) {
1222 #ifndef OPENSSL_NO_SIPHASH
1223         type = EVP_PKEY_SIPHASH;
1224 #else
1225         t->skip = 1;
1226         return 1;
1227 #endif
1228     } else
1229         return 0;
1230
1231     mdat = OPENSSL_malloc(sizeof(*mdat));
1232     mdat->type = type;
1233     mdat->alg = NULL;
1234     mdat->key = NULL;
1235     mdat->input = NULL;
1236     mdat->output = NULL;
1237     t->data = mdat;
1238     return 1;
1239 }
1240
1241 static void mac_test_cleanup(struct evp_test *t)
1242 {
1243     struct mac_data *mdat = t->data;
1244     test_free(mdat->alg);
1245     test_free(mdat->key);
1246     test_free(mdat->input);
1247     test_free(mdat->output);
1248 }
1249
1250 static int mac_test_parse(struct evp_test *t,
1251                           const char *keyword, const char *value)
1252 {
1253     struct mac_data *mdata = t->data;
1254     if (strcmp(keyword, "Key") == 0)
1255         return test_bin(value, &mdata->key, &mdata->key_len);
1256     if (strcmp(keyword, "Algorithm") == 0) {
1257         mdata->alg = OPENSSL_strdup(value);
1258         if (!mdata->alg)
1259             return 0;
1260         return 1;
1261     }
1262     if (strcmp(keyword, "Input") == 0)
1263         return test_bin(value, &mdata->input, &mdata->input_len);
1264     if (strcmp(keyword, "Output") == 0)
1265         return test_bin(value, &mdata->output, &mdata->output_len);
1266     return 0;
1267 }
1268
1269 static int mac_test_run(struct evp_test *t)
1270 {
1271     struct mac_data *mdata = t->data;
1272     const char *err = "INTERNAL_ERROR";
1273     EVP_MD_CTX *mctx = NULL;
1274     EVP_PKEY_CTX *pctx = NULL, *genctx = NULL;
1275     EVP_PKEY *key = NULL;
1276     const EVP_MD *md = NULL;
1277     unsigned char *mac = NULL;
1278     size_t mac_len;
1279
1280 #ifdef OPENSSL_NO_DES
1281     if (mdata->alg != NULL && strstr(mdata->alg, "DES") != NULL) {
1282         /* Skip DES */
1283         err = NULL;
1284         goto err;
1285     }
1286 #endif
1287
1288     err = "MAC_PKEY_CTX_ERROR";
1289     genctx = EVP_PKEY_CTX_new_id(mdata->type, NULL);
1290     if (!genctx)
1291         goto err;
1292
1293     err = "MAC_KEYGEN_INIT_ERROR";
1294     if (EVP_PKEY_keygen_init(genctx) <= 0)
1295         goto err;
1296     if (mdata->type == EVP_PKEY_CMAC) {
1297         err = "MAC_ALGORITHM_SET_ERROR";
1298         if (EVP_PKEY_CTX_ctrl_str(genctx, "cipher", mdata->alg) <= 0)
1299             goto err;
1300     }
1301
1302     err = "MAC_KEY_SET_ERROR";
1303     if (EVP_PKEY_CTX_set_mac_key(genctx, mdata->key, mdata->key_len) <= 0)
1304         goto err;
1305
1306     err = "MAC_KEY_GENERATE_ERROR";
1307     if (EVP_PKEY_keygen(genctx, &key) <= 0)
1308         goto err;
1309     if (mdata->type == EVP_PKEY_HMAC) {
1310         err = "MAC_ALGORITHM_SET_ERROR";
1311         md = EVP_get_digestbyname(mdata->alg);
1312         if (!md)
1313             goto err;
1314     }
1315     mctx = EVP_MD_CTX_new();
1316     if (!mctx)
1317         goto err;
1318     err = "DIGESTSIGNINIT_ERROR";
1319     if (!EVP_DigestSignInit(mctx, &pctx, md, NULL, key))
1320         goto err;
1321
1322     err = "DIGESTSIGNUPDATE_ERROR";
1323     if (!EVP_DigestSignUpdate(mctx, mdata->input, mdata->input_len))
1324         goto err;
1325     err = "DIGESTSIGNFINAL_LENGTH_ERROR";
1326     if (!EVP_DigestSignFinal(mctx, NULL, &mac_len))
1327         goto err;
1328     mac = OPENSSL_malloc(mac_len);
1329     if (!mac) {
1330         fprintf(stderr, "Error allocating mac buffer!\n");
1331         exit(1);
1332     }
1333     if (!EVP_DigestSignFinal(mctx, mac, &mac_len))
1334         goto err;
1335     err = "MAC_LENGTH_MISMATCH";
1336     if (mac_len != mdata->output_len)
1337         goto err;
1338     err = "MAC_MISMATCH";
1339     if (check_output(t, mdata->output, mac, mac_len))
1340         goto err;
1341     err = NULL;
1342  err:
1343     EVP_MD_CTX_free(mctx);
1344     OPENSSL_free(mac);
1345     EVP_PKEY_CTX_free(genctx);
1346     EVP_PKEY_free(key);
1347     t->err = err;
1348     return 1;
1349 }
1350
1351 static const struct evp_test_method mac_test_method = {
1352     "MAC",
1353     mac_test_init,
1354     mac_test_cleanup,
1355     mac_test_parse,
1356     mac_test_run
1357 };
1358
1359 /*
1360  * Public key operations. These are all very similar and can share
1361  * a lot of common code.
1362  */
1363
1364 struct pkey_data {
1365     /* Context for this operation */
1366     EVP_PKEY_CTX *ctx;
1367     /* Key operation to perform */
1368     int (*keyop) (EVP_PKEY_CTX *ctx,
1369                   unsigned char *sig, size_t *siglen,
1370                   const unsigned char *tbs, size_t tbslen);
1371     /* Input to MAC */
1372     unsigned char *input;
1373     size_t input_len;
1374     /* Expected output */
1375     unsigned char *output;
1376     size_t output_len;
1377 };
1378
1379 /*
1380  * Perform public key operation setup: lookup key, allocated ctx and call
1381  * the appropriate initialisation function
1382  */
1383 static int pkey_test_init(struct evp_test *t, const char *name,
1384                           int use_public,
1385                           int (*keyopinit) (EVP_PKEY_CTX *ctx),
1386                           int (*keyop) (EVP_PKEY_CTX *ctx,
1387                                         unsigned char *sig, size_t *siglen,
1388                                         const unsigned char *tbs,
1389                                         size_t tbslen)
1390     )
1391 {
1392     struct pkey_data *kdata;
1393     EVP_PKEY *pkey = NULL;
1394     int rv = 0;
1395     if (use_public)
1396         rv = find_key(&pkey, name, t->public);
1397     if (!rv)
1398         rv = find_key(&pkey, name, t->private);
1399     if (!rv || pkey == NULL) {
1400         t->skip = 1;
1401         return 1;
1402     }
1403
1404     kdata = OPENSSL_malloc(sizeof(*kdata));
1405     if (!kdata) {
1406         EVP_PKEY_free(pkey);
1407         return 0;
1408     }
1409     kdata->ctx = NULL;
1410     kdata->input = NULL;
1411     kdata->output = NULL;
1412     kdata->keyop = keyop;
1413     t->data = kdata;
1414     kdata->ctx = EVP_PKEY_CTX_new(pkey, NULL);
1415     if (!kdata->ctx)
1416         return 0;
1417     if (keyopinit(kdata->ctx) <= 0)
1418         t->err = "KEYOP_INIT_ERROR";
1419     return 1;
1420 }
1421
1422 static void pkey_test_cleanup(struct evp_test *t)
1423 {
1424     struct pkey_data *kdata = t->data;
1425
1426     OPENSSL_free(kdata->input);
1427     OPENSSL_free(kdata->output);
1428     EVP_PKEY_CTX_free(kdata->ctx);
1429 }
1430
1431 static int pkey_test_ctrl(struct evp_test *t, EVP_PKEY_CTX *pctx,
1432                           const char *value)
1433 {
1434     int rv;
1435     char *p, *tmpval;
1436
1437     tmpval = OPENSSL_strdup(value);
1438     if (tmpval == NULL)
1439         return 0;
1440     p = strchr(tmpval, ':');
1441     if (p != NULL)
1442         *p++ = 0;
1443     rv = EVP_PKEY_CTX_ctrl_str(pctx, tmpval, p);
1444     if (rv == -2) {
1445         t->err = "PKEY_CTRL_INVALID";
1446         rv = 1;
1447     } else if (p != NULL && rv <= 0) {
1448         /* If p has an OID and lookup fails assume disabled algorithm */
1449         int nid = OBJ_sn2nid(p);
1450         if (nid == NID_undef)
1451              nid = OBJ_ln2nid(p);
1452         if ((nid != NID_undef) && EVP_get_digestbynid(nid) == NULL &&
1453             EVP_get_cipherbynid(nid) == NULL) {
1454             t->skip = 1;
1455             rv = 1;
1456         } else {
1457             t->err = "PKEY_CTRL_ERROR";
1458             rv = 1;
1459         }
1460     }
1461     OPENSSL_free(tmpval);
1462     return rv > 0;
1463 }
1464
1465 static int pkey_test_parse(struct evp_test *t,
1466                            const char *keyword, const char *value)
1467 {
1468     struct pkey_data *kdata = t->data;
1469     if (strcmp(keyword, "Input") == 0)
1470         return test_bin(value, &kdata->input, &kdata->input_len);
1471     if (strcmp(keyword, "Output") == 0)
1472         return test_bin(value, &kdata->output, &kdata->output_len);
1473     if (strcmp(keyword, "Ctrl") == 0)
1474         return pkey_test_ctrl(t, kdata->ctx, value);
1475     return 0;
1476 }
1477
1478 static int pkey_test_run(struct evp_test *t)
1479 {
1480     struct pkey_data *kdata = t->data;
1481     unsigned char *out = NULL;
1482     size_t out_len;
1483     const char *err = "KEYOP_LENGTH_ERROR";
1484     if (kdata->keyop(kdata->ctx, NULL, &out_len, kdata->input,
1485                      kdata->input_len) <= 0)
1486         goto err;
1487     out = OPENSSL_malloc(out_len);
1488     if (!out) {
1489         fprintf(stderr, "Error allocating output buffer!\n");
1490         exit(1);
1491     }
1492     err = "KEYOP_ERROR";
1493     if (kdata->keyop
1494         (kdata->ctx, out, &out_len, kdata->input, kdata->input_len) <= 0)
1495         goto err;
1496     err = "KEYOP_LENGTH_MISMATCH";
1497     if (out_len != kdata->output_len)
1498         goto err;
1499     err = "KEYOP_MISMATCH";
1500     if (check_output(t, kdata->output, out, out_len))
1501         goto err;
1502     err = NULL;
1503  err:
1504     OPENSSL_free(out);
1505     t->err = err;
1506     return 1;
1507 }
1508
1509 static int sign_test_init(struct evp_test *t, const char *name)
1510 {
1511     return pkey_test_init(t, name, 0, EVP_PKEY_sign_init, EVP_PKEY_sign);
1512 }
1513
1514 static const struct evp_test_method psign_test_method = {
1515     "Sign",
1516     sign_test_init,
1517     pkey_test_cleanup,
1518     pkey_test_parse,
1519     pkey_test_run
1520 };
1521
1522 static int verify_recover_test_init(struct evp_test *t, const char *name)
1523 {
1524     return pkey_test_init(t, name, 1, EVP_PKEY_verify_recover_init,
1525                           EVP_PKEY_verify_recover);
1526 }
1527
1528 static const struct evp_test_method pverify_recover_test_method = {
1529     "VerifyRecover",
1530     verify_recover_test_init,
1531     pkey_test_cleanup,
1532     pkey_test_parse,
1533     pkey_test_run
1534 };
1535
1536 static int decrypt_test_init(struct evp_test *t, const char *name)
1537 {
1538     return pkey_test_init(t, name, 0, EVP_PKEY_decrypt_init,
1539                           EVP_PKEY_decrypt);
1540 }
1541
1542 static const struct evp_test_method pdecrypt_test_method = {
1543     "Decrypt",
1544     decrypt_test_init,
1545     pkey_test_cleanup,
1546     pkey_test_parse,
1547     pkey_test_run
1548 };
1549
1550 static int verify_test_init(struct evp_test *t, const char *name)
1551 {
1552     return pkey_test_init(t, name, 1, EVP_PKEY_verify_init, 0);
1553 }
1554
1555 static int verify_test_run(struct evp_test *t)
1556 {
1557     struct pkey_data *kdata = t->data;
1558     if (EVP_PKEY_verify(kdata->ctx, kdata->output, kdata->output_len,
1559                         kdata->input, kdata->input_len) <= 0)
1560         t->err = "VERIFY_ERROR";
1561     return 1;
1562 }
1563
1564 static const struct evp_test_method pverify_test_method = {
1565     "Verify",
1566     verify_test_init,
1567     pkey_test_cleanup,
1568     pkey_test_parse,
1569     verify_test_run
1570 };
1571
1572
1573 static int pderive_test_init(struct evp_test *t, const char *name)
1574 {
1575     return pkey_test_init(t, name, 0, EVP_PKEY_derive_init, 0);
1576 }
1577
1578 static int pderive_test_parse(struct evp_test *t,
1579                               const char *keyword, const char *value)
1580 {
1581     struct pkey_data *kdata = t->data;
1582
1583     if (strcmp(keyword, "PeerKey") == 0) {
1584         EVP_PKEY *peer;
1585         if (find_key(&peer, value, t->public) == 0)
1586             return 0;
1587         if (EVP_PKEY_derive_set_peer(kdata->ctx, peer) <= 0)
1588             return 0;
1589         return 1;
1590     }
1591     if (strcmp(keyword, "SharedSecret") == 0)
1592         return test_bin(value, &kdata->output, &kdata->output_len);
1593     if (strcmp(keyword, "Ctrl") == 0)
1594         return pkey_test_ctrl(t, kdata->ctx, value);
1595     return 0;
1596 }
1597
1598 static int pderive_test_run(struct evp_test *t)
1599 {
1600     struct pkey_data *kdata = t->data;
1601     unsigned char *out = NULL;
1602     size_t out_len;
1603     const char *err = "INTERNAL_ERROR";
1604
1605     out_len = kdata->output_len;
1606     out = OPENSSL_malloc(out_len);
1607     if (!out) {
1608         fprintf(stderr, "Error allocating output buffer!\n");
1609         exit(1);
1610     }
1611     err = "DERIVE_ERROR";
1612     if (EVP_PKEY_derive(kdata->ctx, out, &out_len) <= 0)
1613         goto err;
1614     err = "SHARED_SECRET_LENGTH_MISMATCH";
1615     if (out_len != kdata->output_len)
1616         goto err;
1617     err = "SHARED_SECRET_MISMATCH";
1618     if (check_output(t, kdata->output, out, out_len))
1619         goto err;
1620     err = NULL;
1621  err:
1622     OPENSSL_free(out);
1623     t->err = err;
1624     return 1;
1625 }
1626
1627 static const struct evp_test_method pderive_test_method = {
1628     "Derive",
1629     pderive_test_init,
1630     pkey_test_cleanup,
1631     pderive_test_parse,
1632     pderive_test_run
1633 };
1634
1635 /* PBE tests */
1636
1637 #define PBE_TYPE_SCRYPT 1
1638 #define PBE_TYPE_PBKDF2 2
1639 #define PBE_TYPE_PKCS12 3
1640
1641 struct pbe_data {
1642
1643     int pbe_type;
1644
1645     /* scrypt parameters */
1646     uint64_t N, r, p, maxmem;
1647
1648     /* PKCS#12 parameters */
1649     int id, iter;
1650     const EVP_MD *md;
1651
1652     /* password */
1653     unsigned char *pass;
1654     size_t pass_len;
1655
1656     /* salt */
1657     unsigned char *salt;
1658     size_t salt_len;
1659
1660     /* Expected output */
1661     unsigned char *key;
1662     size_t key_len;
1663 };
1664
1665 #ifndef OPENSSL_NO_SCRYPT
1666 static int scrypt_test_parse(struct evp_test *t,
1667                              const char *keyword, const char *value)
1668 {
1669     struct pbe_data *pdata = t->data;
1670
1671     if (strcmp(keyword, "N") == 0)
1672         return test_uint64(value, &pdata->N);
1673     if (strcmp(keyword, "p") == 0)
1674         return test_uint64(value, &pdata->p);
1675     if (strcmp(keyword, "r") == 0)
1676         return test_uint64(value, &pdata->r);
1677     if (strcmp(keyword, "maxmem") == 0)
1678         return test_uint64(value, &pdata->maxmem);
1679     return 0;
1680 }
1681 #endif
1682
1683 static int pbkdf2_test_parse(struct evp_test *t,
1684                              const char *keyword, const char *value)
1685 {
1686     struct pbe_data *pdata = t->data;
1687
1688     if (strcmp(keyword, "iter") == 0) {
1689         pdata->iter = atoi(value);
1690         if (pdata->iter <= 0)
1691             return 0;
1692         return 1;
1693     }
1694     if (strcmp(keyword, "MD") == 0) {
1695         pdata->md = EVP_get_digestbyname(value);
1696         if (pdata->md == NULL)
1697             return 0;
1698         return 1;
1699     }
1700     return 0;
1701 }
1702
1703 static int pkcs12_test_parse(struct evp_test *t,
1704                              const char *keyword, const char *value)
1705 {
1706     struct pbe_data *pdata = t->data;
1707
1708     if (strcmp(keyword, "id") == 0) {
1709         pdata->id = atoi(value);
1710         if (pdata->id <= 0)
1711             return 0;
1712         return 1;
1713     }
1714     return pbkdf2_test_parse(t, keyword, value);
1715 }
1716
1717 static int pbe_test_init(struct evp_test *t, const char *alg)
1718 {
1719     struct pbe_data *pdat;
1720     int pbe_type = 0;
1721
1722     if (strcmp(alg, "scrypt") == 0) {
1723 #ifndef OPENSSL_NO_SCRYPT
1724         pbe_type = PBE_TYPE_SCRYPT;
1725 #else
1726         t->skip = 1;
1727         return 1;
1728 #endif
1729     } else if (strcmp(alg, "pbkdf2") == 0) {
1730         pbe_type = PBE_TYPE_PBKDF2;
1731     } else if (strcmp(alg, "pkcs12") == 0) {
1732         pbe_type = PBE_TYPE_PKCS12;
1733     } else {
1734         fprintf(stderr, "Unknown pbe algorithm %s\n", alg);
1735     }
1736     pdat = OPENSSL_malloc(sizeof(*pdat));
1737     pdat->pbe_type = pbe_type;
1738     pdat->pass = NULL;
1739     pdat->salt = NULL;
1740     pdat->N = 0;
1741     pdat->r = 0;
1742     pdat->p = 0;
1743     pdat->maxmem = 0;
1744     pdat->id = 0;
1745     pdat->iter = 0;
1746     pdat->md = NULL;
1747     t->data = pdat;
1748     return 1;
1749 }
1750
1751 static void pbe_test_cleanup(struct evp_test *t)
1752 {
1753     struct pbe_data *pdat = t->data;
1754     test_free(pdat->pass);
1755     test_free(pdat->salt);
1756     test_free(pdat->key);
1757 }
1758
1759 static int pbe_test_parse(struct evp_test *t,
1760                              const char *keyword, const char *value)
1761 {
1762     struct pbe_data *pdata = t->data;
1763
1764     if (strcmp(keyword, "Password") == 0)
1765         return test_bin(value, &pdata->pass, &pdata->pass_len);
1766     if (strcmp(keyword, "Salt") == 0)
1767         return test_bin(value, &pdata->salt, &pdata->salt_len);
1768     if (strcmp(keyword, "Key") == 0)
1769         return test_bin(value, &pdata->key, &pdata->key_len);
1770     if (pdata->pbe_type == PBE_TYPE_PBKDF2)
1771         return pbkdf2_test_parse(t, keyword, value);
1772     else if (pdata->pbe_type == PBE_TYPE_PKCS12)
1773         return pkcs12_test_parse(t, keyword, value);
1774 #ifndef OPENSSL_NO_SCRYPT
1775     else if (pdata->pbe_type == PBE_TYPE_SCRYPT)
1776         return scrypt_test_parse(t, keyword, value);
1777 #endif
1778     return 0;
1779 }
1780
1781 static int pbe_test_run(struct evp_test *t)
1782 {
1783     struct pbe_data *pdata = t->data;
1784     const char *err = "INTERNAL_ERROR";
1785     unsigned char *key;
1786
1787     key = OPENSSL_malloc(pdata->key_len);
1788     if (!key)
1789         goto err;
1790     if (pdata->pbe_type == PBE_TYPE_PBKDF2) {
1791         err = "PBKDF2_ERROR";
1792         if (PKCS5_PBKDF2_HMAC((char *)pdata->pass, pdata->pass_len,
1793                               pdata->salt, pdata->salt_len,
1794                               pdata->iter, pdata->md,
1795                               pdata->key_len, key) == 0)
1796             goto err;
1797 #ifndef OPENSSL_NO_SCRYPT
1798     } else if (pdata->pbe_type == PBE_TYPE_SCRYPT) {
1799         err = "SCRYPT_ERROR";
1800         if (EVP_PBE_scrypt((const char *)pdata->pass, pdata->pass_len,
1801                            pdata->salt, pdata->salt_len,
1802                            pdata->N, pdata->r, pdata->p, pdata->maxmem,
1803                            key, pdata->key_len) == 0)
1804             goto err;
1805 #endif
1806     } else if (pdata->pbe_type == PBE_TYPE_PKCS12) {
1807         err = "PKCS12_ERROR";
1808         if (PKCS12_key_gen_uni(pdata->pass, pdata->pass_len,
1809                                pdata->salt, pdata->salt_len,
1810                                pdata->id, pdata->iter, pdata->key_len,
1811                                key, pdata->md) == 0)
1812             goto err;
1813     }
1814     err = "KEY_MISMATCH";
1815     if (check_output(t, pdata->key, key, pdata->key_len))
1816         goto err;
1817     err = NULL;
1818     err:
1819     OPENSSL_free(key);
1820     t->err = err;
1821     return 1;
1822 }
1823
1824 static const struct evp_test_method pbe_test_method = {
1825     "PBE",
1826     pbe_test_init,
1827     pbe_test_cleanup,
1828     pbe_test_parse,
1829     pbe_test_run
1830 };
1831
1832 /* Base64 tests */
1833
1834 typedef enum {
1835     BASE64_CANONICAL_ENCODING = 0,
1836     BASE64_VALID_ENCODING = 1,
1837     BASE64_INVALID_ENCODING = 2
1838 } base64_encoding_type;
1839
1840 struct encode_data {
1841     /* Input to encoding */
1842     unsigned char *input;
1843     size_t input_len;
1844     /* Expected output */
1845     unsigned char *output;
1846     size_t output_len;
1847     base64_encoding_type encoding;
1848 };
1849
1850 static int encode_test_init(struct evp_test *t, const char *encoding)
1851 {
1852     struct encode_data *edata = OPENSSL_zalloc(sizeof(*edata));
1853
1854     if (strcmp(encoding, "canonical") == 0) {
1855         edata->encoding = BASE64_CANONICAL_ENCODING;
1856     } else if (strcmp(encoding, "valid") == 0) {
1857         edata->encoding = BASE64_VALID_ENCODING;
1858     } else if (strcmp(encoding, "invalid") == 0) {
1859         edata->encoding = BASE64_INVALID_ENCODING;
1860         t->expected_err = OPENSSL_strdup("DECODE_ERROR");
1861         if (t->expected_err == NULL)
1862             return 0;
1863     } else {
1864         fprintf(stderr, "Bad encoding: %s. Should be one of "
1865                 "{canonical, valid, invalid}\n", encoding);
1866         return 0;
1867     }
1868     t->data = edata;
1869     return 1;
1870 }
1871
1872 static void encode_test_cleanup(struct evp_test *t)
1873 {
1874     struct encode_data *edata = t->data;
1875     test_free(edata->input);
1876     test_free(edata->output);
1877     memset(edata, 0, sizeof(*edata));
1878 }
1879
1880 static int encode_test_parse(struct evp_test *t,
1881                              const char *keyword, const char *value)
1882 {
1883     struct encode_data *edata = t->data;
1884     if (strcmp(keyword, "Input") == 0)
1885         return test_bin(value, &edata->input, &edata->input_len);
1886     if (strcmp(keyword, "Output") == 0)
1887         return test_bin(value, &edata->output, &edata->output_len);
1888     return 0;
1889 }
1890
1891 static int encode_test_run(struct evp_test *t)
1892 {
1893     struct encode_data *edata = t->data;
1894     unsigned char *encode_out = NULL, *decode_out = NULL;
1895     int output_len, chunk_len;
1896     const char *err = "INTERNAL_ERROR";
1897     EVP_ENCODE_CTX *decode_ctx = EVP_ENCODE_CTX_new();
1898
1899     if (decode_ctx == NULL)
1900         goto err;
1901
1902     if (edata->encoding == BASE64_CANONICAL_ENCODING) {
1903         EVP_ENCODE_CTX *encode_ctx = EVP_ENCODE_CTX_new();
1904         if (encode_ctx == NULL)
1905             goto err;
1906         encode_out = OPENSSL_malloc(EVP_ENCODE_LENGTH(edata->input_len));
1907         if (encode_out == NULL)
1908             goto err;
1909
1910         EVP_EncodeInit(encode_ctx);
1911         EVP_EncodeUpdate(encode_ctx, encode_out, &chunk_len,
1912                          edata->input, edata->input_len);
1913         output_len = chunk_len;
1914
1915         EVP_EncodeFinal(encode_ctx, encode_out + chunk_len, &chunk_len);
1916         output_len += chunk_len;
1917
1918         EVP_ENCODE_CTX_free(encode_ctx);
1919
1920         if (check_var_length_output(t, edata->output, edata->output_len,
1921                                     encode_out, output_len)) {
1922             err = "BAD_ENCODING";
1923             goto err;
1924         }
1925     }
1926
1927     decode_out = OPENSSL_malloc(EVP_DECODE_LENGTH(edata->output_len));
1928     if (decode_out == NULL)
1929         goto err;
1930
1931     EVP_DecodeInit(decode_ctx);
1932     if (EVP_DecodeUpdate(decode_ctx, decode_out, &chunk_len, edata->output,
1933                          edata->output_len) < 0) {
1934         err = "DECODE_ERROR";
1935         goto err;
1936     }
1937     output_len = chunk_len;
1938
1939     if (EVP_DecodeFinal(decode_ctx, decode_out + chunk_len, &chunk_len) != 1) {
1940         err = "DECODE_ERROR";
1941         goto err;
1942     }
1943     output_len += chunk_len;
1944
1945     if (edata->encoding != BASE64_INVALID_ENCODING &&
1946         check_var_length_output(t, edata->input, edata->input_len,
1947                                 decode_out, output_len)) {
1948         err = "BAD_DECODING";
1949         goto err;
1950     }
1951
1952     err = NULL;
1953  err:
1954     t->err = err;
1955     OPENSSL_free(encode_out);
1956     OPENSSL_free(decode_out);
1957     EVP_ENCODE_CTX_free(decode_ctx);
1958     return 1;
1959 }
1960
1961 static const struct evp_test_method encode_test_method = {
1962     "Encoding",
1963     encode_test_init,
1964     encode_test_cleanup,
1965     encode_test_parse,
1966     encode_test_run,
1967 };
1968
1969 /* KDF operations */
1970
1971 struct kdf_data {
1972     /* Context for this operation */
1973     EVP_PKEY_CTX *ctx;
1974     /* Expected output */
1975     unsigned char *output;
1976     size_t output_len;
1977 };
1978
1979 /*
1980  * Perform public key operation setup: lookup key, allocated ctx and call
1981  * the appropriate initialisation function
1982  */
1983 static int kdf_test_init(struct evp_test *t, const char *name)
1984 {
1985     struct kdf_data *kdata;
1986
1987     kdata = OPENSSL_malloc(sizeof(*kdata));
1988     if (kdata == NULL)
1989         return 0;
1990     kdata->ctx = NULL;
1991     kdata->output = NULL;
1992     t->data = kdata;
1993     kdata->ctx = EVP_PKEY_CTX_new_id(OBJ_sn2nid(name), NULL);
1994     if (kdata->ctx == NULL)
1995         return 0;
1996     if (EVP_PKEY_derive_init(kdata->ctx) <= 0)
1997         return 0;
1998     return 1;
1999 }
2000
2001 static void kdf_test_cleanup(struct evp_test *t)
2002 {
2003     struct kdf_data *kdata = t->data;
2004     OPENSSL_free(kdata->output);
2005     EVP_PKEY_CTX_free(kdata->ctx);
2006 }
2007
2008 static int kdf_test_parse(struct evp_test *t,
2009                           const char *keyword, const char *value)
2010 {
2011     struct kdf_data *kdata = t->data;
2012     if (strcmp(keyword, "Output") == 0)
2013         return test_bin(value, &kdata->output, &kdata->output_len);
2014     if (strncmp(keyword, "Ctrl", 4) == 0)
2015         return pkey_test_ctrl(t, kdata->ctx, value);
2016     return 0;
2017 }
2018
2019 static int kdf_test_run(struct evp_test *t)
2020 {
2021     struct kdf_data *kdata = t->data;
2022     unsigned char *out = NULL;
2023     size_t out_len = kdata->output_len;
2024     const char *err = "INTERNAL_ERROR";
2025     out = OPENSSL_malloc(out_len);
2026     if (!out) {
2027         fprintf(stderr, "Error allocating output buffer!\n");
2028         exit(1);
2029     }
2030     err = "KDF_DERIVE_ERROR";
2031     if (EVP_PKEY_derive(kdata->ctx, out, &out_len) <= 0)
2032         goto err;
2033     err = "KDF_LENGTH_MISMATCH";
2034     if (out_len != kdata->output_len)
2035         goto err;
2036     err = "KDF_MISMATCH";
2037     if (check_output(t, kdata->output, out, out_len))
2038         goto err;
2039     err = NULL;
2040  err:
2041     OPENSSL_free(out);
2042     t->err = err;
2043     return 1;
2044 }
2045
2046 static const struct evp_test_method kdf_test_method = {
2047     "KDF",
2048     kdf_test_init,
2049     kdf_test_cleanup,
2050     kdf_test_parse,
2051     kdf_test_run
2052 };