Don't assume shared key length matches expected length
[openssl.git] / test / evp_test.c
1 /*
2  * Copyright 2015-2017 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the OpenSSL license (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include <stdio.h>
11 #include <string.h>
12 #include <stdlib.h>
13 #include <ctype.h>
14 #include <openssl/evp.h>
15 #include <openssl/pem.h>
16 #include <openssl/err.h>
17 #include <openssl/x509v3.h>
18 #include <openssl/pkcs12.h>
19 #include <openssl/kdf.h>
20 #include "internal/numbers.h"
21 #include "testutil.h"
22 #include "evp_test.h"
23
24
25 typedef struct evp_test_method_st EVP_TEST_METHOD;
26
27 /*
28  * Structure holding test information
29  */
30 typedef struct evp_test_st {
31     STANZA s;                     /* Common test stanza */
32     char *name;
33     int skip;                     /* Current test should be skipped */
34     const EVP_TEST_METHOD *meth;  /* method for this test */
35     const char *err, *aux_err;    /* Error string for test */
36     char *expected_err;           /* Expected error value of test */
37     char *func;                   /* Expected error function string */
38     char *reason;                 /* Expected error reason string */
39     void *data;                   /* test specific data */
40 } EVP_TEST;
41
42 /*
43  * Test method structure
44  */
45 struct evp_test_method_st {
46     /* Name of test as it appears in file */
47     const char *name;
48     /* Initialise test for "alg" */
49     int (*init) (EVP_TEST * t, const char *alg);
50     /* Clean up method */
51     void (*cleanup) (EVP_TEST * t);
52     /* Test specific name value pair processing */
53     int (*parse) (EVP_TEST * t, const char *name, const char *value);
54     /* Run the test itself */
55     int (*run_test) (EVP_TEST * t);
56 };
57
58
59 /*
60  * Linked list of named keys.
61  */
62 typedef struct key_list_st {
63     char *name;
64     EVP_PKEY *key;
65     struct key_list_st *next;
66 } KEY_LIST;
67
68 /*
69  * List of public and private keys
70  */
71 static KEY_LIST *private_keys;
72 static KEY_LIST *public_keys;
73 static int find_key(EVP_PKEY **ppk, const char *name, KEY_LIST *lst);
74
75 static int parse_bin(const char *value, unsigned char **buf, size_t *buflen);
76
77 /*
78  * Structure used to hold a list of blocks of memory to test
79  * calls to "update" like functions.
80  */
81 struct evp_test_buffer_st {
82     unsigned char *buf;
83     size_t buflen;
84     size_t count;
85     int count_set;
86 };
87
88 static void evp_test_buffer_free(EVP_TEST_BUFFER *db)
89 {
90     if (db != NULL) {
91         OPENSSL_free(db->buf);
92         OPENSSL_free(db);
93     }
94 }
95
96 /*
97  * append buffer to a list
98  */
99 static int evp_test_buffer_append(const char *value,
100                                   STACK_OF(EVP_TEST_BUFFER) **sk)
101 {
102     EVP_TEST_BUFFER *db = NULL;
103
104     if (!TEST_ptr(db = OPENSSL_malloc(sizeof(*db))))
105         goto err;
106
107     if (!parse_bin(value, &db->buf, &db->buflen))
108         goto err;
109     db->count = 1;
110     db->count_set = 0;
111
112     if (*sk == NULL && !TEST_ptr(*sk = sk_EVP_TEST_BUFFER_new_null()))
113         goto err;
114     if (!sk_EVP_TEST_BUFFER_push(*sk, db))
115         goto err;
116
117     return 1;
118
119 err:
120     evp_test_buffer_free(db);
121     return 0;
122 }
123
124 /*
125  * replace last buffer in list with copies of itself
126  */
127 static int evp_test_buffer_ncopy(const char *value,
128                                  STACK_OF(EVP_TEST_BUFFER) *sk)
129 {
130     EVP_TEST_BUFFER *db;
131     unsigned char *tbuf, *p;
132     size_t tbuflen;
133     int ncopy = atoi(value);
134     int i;
135
136     if (ncopy <= 0)
137         return 0;
138     if (sk == NULL || sk_EVP_TEST_BUFFER_num(sk) == 0)
139         return 0;
140     db = sk_EVP_TEST_BUFFER_value(sk, sk_EVP_TEST_BUFFER_num(sk) - 1);
141
142     tbuflen = db->buflen * ncopy;
143     if (!TEST_ptr(tbuf = OPENSSL_malloc(tbuflen)))
144         return 0;
145     for (i = 0, p = tbuf; i < ncopy; i++, p += db->buflen)
146         memcpy(p, db->buf, db->buflen);
147
148     OPENSSL_free(db->buf);
149     db->buf = tbuf;
150     db->buflen = tbuflen;
151     return 1;
152 }
153
154 /*
155  * set repeat count for last buffer in list
156  */
157 static int evp_test_buffer_set_count(const char *value,
158                                      STACK_OF(EVP_TEST_BUFFER) *sk)
159 {
160     EVP_TEST_BUFFER *db;
161     int count = atoi(value);
162
163     if (count <= 0)
164         return 0;
165
166     if (sk == NULL || sk_EVP_TEST_BUFFER_num(sk) == 0)
167         return 0;
168
169     db = sk_EVP_TEST_BUFFER_value(sk, sk_EVP_TEST_BUFFER_num(sk) - 1);
170     if (db->count_set != 0)
171         return 0;
172
173     db->count = (size_t)count;
174     db->count_set = 1;
175     return 1;
176 }
177
178 /*
179  * call "fn" with each element of the list in turn
180  */
181 static int evp_test_buffer_do(STACK_OF(EVP_TEST_BUFFER) *sk,
182                               int (*fn)(void *ctx,
183                                         const unsigned char *buf,
184                                         size_t buflen),
185                               void *ctx)
186 {
187     int i;
188
189     for (i = 0; i < sk_EVP_TEST_BUFFER_num(sk); i++) {
190         EVP_TEST_BUFFER *tb = sk_EVP_TEST_BUFFER_value(sk, i);
191         size_t j;
192
193         for (j = 0; j < tb->count; j++) {
194             if (fn(ctx, tb->buf, tb->buflen) <= 0)
195                 return 0;
196         }
197     }
198     return 1;
199 }
200
201 /*
202  * Unescape some sequences in string literals (only \n for now).
203  * Return an allocated buffer, set |out_len|.  If |input_len|
204  * is zero, get an empty buffer but set length to zero.
205  */
206 static unsigned char* unescape(const char *input, size_t input_len,
207                                size_t *out_len)
208 {
209     unsigned char *ret, *p;
210     size_t i;
211
212     if (input_len == 0) {
213         *out_len = 0;
214         return OPENSSL_zalloc(1);
215     }
216
217     /* Escaping is non-expanding; over-allocate original size for simplicity. */
218     if (!TEST_ptr(ret = p = OPENSSL_malloc(input_len)))
219         return NULL;
220
221     for (i = 0; i < input_len; i++) {
222         if (*input == '\\') {
223             if (i == input_len - 1 || *++input != 'n') {
224                 TEST_error("Bad escape sequence in file");
225                 goto err;
226             }
227             *p++ = '\n';
228             i++;
229             input++;
230         } else {
231             *p++ = *input++;
232         }
233     }
234
235     *out_len = p - ret;
236     return ret;
237
238  err:
239     OPENSSL_free(ret);
240     return NULL;
241 }
242
243 /*
244  * For a hex string "value" convert to a binary allocated buffer.
245  * Return 1 on success or 0 on failure.
246  */
247 static int parse_bin(const char *value, unsigned char **buf, size_t *buflen)
248 {
249     long len;
250
251     /* Check for NULL literal */
252     if (strcmp(value, "NULL") == 0) {
253         *buf = NULL;
254         *buflen = 0;
255         return 1;
256     }
257
258     /* Check for empty value */
259     if (*value == '\0') {
260         /*
261          * Don't return NULL for zero length buffer. This is needed for
262          * some tests with empty keys: HMAC_Init_ex() expects a non-NULL key
263          * buffer even if the key length is 0, in order to detect key reset.
264          */
265         *buf = OPENSSL_malloc(1);
266         if (*buf == NULL)
267             return 0;
268         **buf = 0;
269         *buflen = 0;
270         return 1;
271     }
272
273     /* Check for string literal */
274     if (value[0] == '"') {
275         size_t vlen = strlen(++value);
276
277         if (vlen == 0 || value[vlen - 1] != '"')
278             return 0;
279         vlen--;
280         *buf = unescape(value, vlen, buflen);
281         return *buf == NULL ? 0 : 1;
282     }
283
284     /* Otherwise assume as hex literal and convert it to binary buffer */
285     if (!TEST_ptr(*buf = OPENSSL_hexstr2buf(value, &len))) {
286         TEST_info("Can't convert %s", value);
287         TEST_openssl_errors();
288         return -1;
289     }
290     /* Size of input buffer means we'll never overflow */
291     *buflen = len;
292     return 1;
293 }
294
295
296 /**
297 ***  MESSAGE DIGEST TESTS
298 **/
299
300 typedef struct digest_data_st {
301     /* Digest this test is for */
302     const EVP_MD *digest;
303     /* Input to digest */
304     STACK_OF(EVP_TEST_BUFFER) *input;
305     /* Expected output */
306     unsigned char *output;
307     size_t output_len;
308 } DIGEST_DATA;
309
310 static int digest_test_init(EVP_TEST *t, const char *alg)
311 {
312     DIGEST_DATA *mdat;
313     const EVP_MD *digest;
314
315     if ((digest = EVP_get_digestbyname(alg)) == NULL) {
316         /* If alg has an OID assume disabled algorithm */
317         if (OBJ_sn2nid(alg) != NID_undef || OBJ_ln2nid(alg) != NID_undef) {
318             t->skip = 1;
319             return 1;
320         }
321         return 0;
322     }
323     if (!TEST_ptr(mdat = OPENSSL_zalloc(sizeof(*mdat))))
324         return 0;
325     t->data = mdat;
326     mdat->digest = digest;
327     return 1;
328 }
329
330 static void digest_test_cleanup(EVP_TEST *t)
331 {
332     DIGEST_DATA *mdat = t->data;
333
334     sk_EVP_TEST_BUFFER_pop_free(mdat->input, evp_test_buffer_free);
335     OPENSSL_free(mdat->output);
336 }
337
338 static int digest_test_parse(EVP_TEST *t,
339                              const char *keyword, const char *value)
340 {
341     DIGEST_DATA *mdata = t->data;
342
343     if (strcmp(keyword, "Input") == 0)
344         return evp_test_buffer_append(value, &mdata->input);
345     if (strcmp(keyword, "Output") == 0)
346         return parse_bin(value, &mdata->output, &mdata->output_len);
347     if (strcmp(keyword, "Count") == 0)
348         return evp_test_buffer_set_count(value, mdata->input);
349     if (strcmp(keyword, "Ncopy") == 0)
350         return evp_test_buffer_ncopy(value, mdata->input);
351     return 0;
352 }
353
354 static int digest_update_fn(void *ctx, const unsigned char *buf, size_t buflen)
355 {
356     return EVP_DigestUpdate(ctx, buf, buflen);
357 }
358
359 static int digest_test_run(EVP_TEST *t)
360 {
361     DIGEST_DATA *expected = t->data;
362     EVP_MD_CTX *mctx;
363     unsigned char *got = NULL;
364     unsigned int got_len;
365
366     t->err = "TEST_FAILURE";
367     if (!TEST_ptr(mctx = EVP_MD_CTX_new()))
368         goto err;
369
370     got = OPENSSL_malloc(expected->output_len > EVP_MAX_MD_SIZE ?
371                          expected->output_len : EVP_MAX_MD_SIZE);
372     if (!TEST_ptr(got))
373         goto err;
374
375     if (!EVP_DigestInit_ex(mctx, expected->digest, NULL)) {
376         t->err = "DIGESTINIT_ERROR";
377         goto err;
378     }
379     if (!evp_test_buffer_do(expected->input, digest_update_fn, mctx)) {
380         t->err = "DIGESTUPDATE_ERROR";
381         goto err;
382     }
383
384     if (EVP_MD_flags(expected->digest) & EVP_MD_FLAG_XOF) {
385         got_len = expected->output_len;
386         if (!EVP_DigestFinalXOF(mctx, got, got_len)) {
387             t->err = "DIGESTFINALXOF_ERROR";
388             goto err;
389         }
390     } else {
391         if (!EVP_DigestFinal(mctx, got, &got_len)) {
392             t->err = "DIGESTFINAL_ERROR";
393             goto err;
394         }
395     }
396     if (!TEST_int_eq(expected->output_len, got_len)) {
397         t->err = "DIGEST_LENGTH_MISMATCH";
398         goto err;
399     }
400     if (!TEST_mem_eq(expected->output, expected->output_len, got, got_len)) {
401         t->err = "DIGEST_MISMATCH";
402         goto err;
403     }
404     t->err = NULL;
405
406  err:
407     OPENSSL_free(got);
408     EVP_MD_CTX_free(mctx);
409     return 1;
410 }
411
412 static const EVP_TEST_METHOD digest_test_method = {
413     "Digest",
414     digest_test_init,
415     digest_test_cleanup,
416     digest_test_parse,
417     digest_test_run
418 };
419
420
421 /**
422 ***  CIPHER TESTS
423 **/
424
425 typedef struct cipher_data_st {
426     const EVP_CIPHER *cipher;
427     int enc;
428     /* EVP_CIPH_GCM_MODE, EVP_CIPH_CCM_MODE or EVP_CIPH_OCB_MODE if AEAD */
429     int aead;
430     unsigned char *key;
431     size_t key_len;
432     unsigned char *iv;
433     size_t iv_len;
434     unsigned char *plaintext;
435     size_t plaintext_len;
436     unsigned char *ciphertext;
437     size_t ciphertext_len;
438     /* GCM, CCM only */
439     unsigned char *aad;
440     size_t aad_len;
441     unsigned char *tag;
442     size_t tag_len;
443 } CIPHER_DATA;
444
445 static int cipher_test_init(EVP_TEST *t, const char *alg)
446 {
447     const EVP_CIPHER *cipher;
448     CIPHER_DATA *cdat;
449     int m;
450
451     if ((cipher = EVP_get_cipherbyname(alg)) == NULL) {
452         /* If alg has an OID assume disabled algorithm */
453         if (OBJ_sn2nid(alg) != NID_undef || OBJ_ln2nid(alg) != NID_undef) {
454             t->skip = 1;
455             return 1;
456         }
457         return 0;
458     }
459     cdat = OPENSSL_zalloc(sizeof(*cdat));
460     cdat->cipher = cipher;
461     cdat->enc = -1;
462     m = EVP_CIPHER_mode(cipher);
463     if (m == EVP_CIPH_GCM_MODE
464             || m == EVP_CIPH_OCB_MODE
465             || m == EVP_CIPH_CCM_MODE)
466         cdat->aead = EVP_CIPHER_mode(cipher);
467     else if (EVP_CIPHER_flags(cipher) & EVP_CIPH_FLAG_AEAD_CIPHER)
468         cdat->aead = -1;
469     else
470         cdat->aead = 0;
471
472     t->data = cdat;
473     return 1;
474 }
475
476 static void cipher_test_cleanup(EVP_TEST *t)
477 {
478     CIPHER_DATA *cdat = t->data;
479
480     OPENSSL_free(cdat->key);
481     OPENSSL_free(cdat->iv);
482     OPENSSL_free(cdat->ciphertext);
483     OPENSSL_free(cdat->plaintext);
484     OPENSSL_free(cdat->aad);
485     OPENSSL_free(cdat->tag);
486 }
487
488 static int cipher_test_parse(EVP_TEST *t, const char *keyword,
489                              const char *value)
490 {
491     CIPHER_DATA *cdat = t->data;
492
493     if (strcmp(keyword, "Key") == 0)
494         return parse_bin(value, &cdat->key, &cdat->key_len);
495     if (strcmp(keyword, "IV") == 0)
496         return parse_bin(value, &cdat->iv, &cdat->iv_len);
497     if (strcmp(keyword, "Plaintext") == 0)
498         return parse_bin(value, &cdat->plaintext, &cdat->plaintext_len);
499     if (strcmp(keyword, "Ciphertext") == 0)
500         return parse_bin(value, &cdat->ciphertext, &cdat->ciphertext_len);
501     if (cdat->aead) {
502         if (strcmp(keyword, "AAD") == 0)
503             return parse_bin(value, &cdat->aad, &cdat->aad_len);
504         if (strcmp(keyword, "Tag") == 0)
505             return parse_bin(value, &cdat->tag, &cdat->tag_len);
506     }
507
508     if (strcmp(keyword, "Operation") == 0) {
509         if (strcmp(value, "ENCRYPT") == 0)
510             cdat->enc = 1;
511         else if (strcmp(value, "DECRYPT") == 0)
512             cdat->enc = 0;
513         else
514             return 0;
515         return 1;
516     }
517     return 0;
518 }
519
520 static int cipher_test_enc(EVP_TEST *t, int enc,
521                            size_t out_misalign, size_t inp_misalign, int frag)
522 {
523     CIPHER_DATA *expected = t->data;
524     unsigned char *in, *expected_out, *tmp = NULL;
525     size_t in_len, out_len, donelen = 0;
526     int ok = 0, tmplen, chunklen, tmpflen;
527     EVP_CIPHER_CTX *ctx = NULL;
528
529     t->err = "TEST_FAILURE";
530     if (!TEST_ptr(ctx = EVP_CIPHER_CTX_new()))
531         goto err;
532     EVP_CIPHER_CTX_set_flags(ctx, EVP_CIPHER_CTX_FLAG_WRAP_ALLOW);
533     if (enc) {
534         in = expected->plaintext;
535         in_len = expected->plaintext_len;
536         expected_out = expected->ciphertext;
537         out_len = expected->ciphertext_len;
538     } else {
539         in = expected->ciphertext;
540         in_len = expected->ciphertext_len;
541         expected_out = expected->plaintext;
542         out_len = expected->plaintext_len;
543     }
544     if (inp_misalign == (size_t)-1) {
545         /*
546          * Exercise in-place encryption
547          */
548         tmp = OPENSSL_malloc(out_misalign + in_len + 2 * EVP_MAX_BLOCK_LENGTH);
549         if (!tmp)
550             goto err;
551         in = memcpy(tmp + out_misalign, in, in_len);
552     } else {
553         inp_misalign += 16 - ((out_misalign + in_len) & 15);
554         /*
555          * 'tmp' will store both output and copy of input. We make the copy
556          * of input to specifically aligned part of 'tmp'. So we just
557          * figured out how much padding would ensure the required alignment,
558          * now we allocate extended buffer and finally copy the input just
559          * past inp_misalign in expression below. Output will be written
560          * past out_misalign...
561          */
562         tmp = OPENSSL_malloc(out_misalign + in_len + 2 * EVP_MAX_BLOCK_LENGTH +
563                              inp_misalign + in_len);
564         if (!tmp)
565             goto err;
566         in = memcpy(tmp + out_misalign + in_len + 2 * EVP_MAX_BLOCK_LENGTH +
567                     inp_misalign, in, in_len);
568     }
569     if (!EVP_CipherInit_ex(ctx, expected->cipher, NULL, NULL, NULL, enc)) {
570         t->err = "CIPHERINIT_ERROR";
571         goto err;
572     }
573     if (expected->iv) {
574         if (expected->aead) {
575             if (!EVP_CIPHER_CTX_ctrl(ctx, EVP_CTRL_AEAD_SET_IVLEN,
576                                      expected->iv_len, 0)) {
577                 t->err = "INVALID_IV_LENGTH";
578                 goto err;
579             }
580         } else if (expected->iv_len != (size_t)EVP_CIPHER_CTX_iv_length(ctx)) {
581             t->err = "INVALID_IV_LENGTH";
582             goto err;
583         }
584     }
585     if (expected->aead) {
586         unsigned char *tag;
587         /*
588          * If encrypting or OCB just set tag length initially, otherwise
589          * set tag length and value.
590          */
591         if (enc || expected->aead == EVP_CIPH_OCB_MODE) {
592             t->err = "TAG_LENGTH_SET_ERROR";
593             tag = NULL;
594         } else {
595             t->err = "TAG_SET_ERROR";
596             tag = expected->tag;
597         }
598         if (tag || expected->aead != EVP_CIPH_GCM_MODE) {
599             if (!EVP_CIPHER_CTX_ctrl(ctx, EVP_CTRL_AEAD_SET_TAG,
600                                      expected->tag_len, tag))
601                 goto err;
602         }
603     }
604
605     if (!EVP_CIPHER_CTX_set_key_length(ctx, expected->key_len)) {
606         t->err = "INVALID_KEY_LENGTH";
607         goto err;
608     }
609     if (!EVP_CipherInit_ex(ctx, NULL, NULL, expected->key, expected->iv, -1)) {
610         t->err = "KEY_SET_ERROR";
611         goto err;
612     }
613
614     if (!enc && expected->aead == EVP_CIPH_OCB_MODE) {
615         if (!EVP_CIPHER_CTX_ctrl(ctx, EVP_CTRL_AEAD_SET_TAG,
616                                  expected->tag_len, expected->tag)) {
617             t->err = "TAG_SET_ERROR";
618             goto err;
619         }
620     }
621
622     if (expected->aead == EVP_CIPH_CCM_MODE) {
623         if (!EVP_CipherUpdate(ctx, NULL, &tmplen, NULL, out_len)) {
624             t->err = "CCM_PLAINTEXT_LENGTH_SET_ERROR";
625             goto err;
626         }
627     }
628     if (expected->aad) {
629         t->err = "AAD_SET_ERROR";
630         if (!frag) {
631             if (!EVP_CipherUpdate(ctx, NULL, &chunklen, expected->aad,
632                                   expected->aad_len))
633                 goto err;
634         } else {
635             /*
636              * Supply the AAD in chunks less than the block size where possible
637              */
638             if (expected->aad_len > 0) {
639                 if (!EVP_CipherUpdate(ctx, NULL, &chunklen, expected->aad, 1))
640                     goto err;
641                 donelen++;
642             }
643             if (expected->aad_len > 2) {
644                 if (!EVP_CipherUpdate(ctx, NULL, &chunklen,
645                                       expected->aad + donelen,
646                                       expected->aad_len - 2))
647                     goto err;
648                 donelen += expected->aad_len - 2;
649             }
650             if (expected->aad_len > 1
651                     && !EVP_CipherUpdate(ctx, NULL, &chunklen,
652                                          expected->aad + donelen, 1))
653                 goto err;
654         }
655     }
656     EVP_CIPHER_CTX_set_padding(ctx, 0);
657     t->err = "CIPHERUPDATE_ERROR";
658     tmplen = 0;
659     if (!frag) {
660         /* We supply the data all in one go */
661         if (!EVP_CipherUpdate(ctx, tmp + out_misalign, &tmplen, in, in_len))
662             goto err;
663     } else {
664         /* Supply the data in chunks less than the block size where possible */
665         if (in_len > 0) {
666             if (!EVP_CipherUpdate(ctx, tmp + out_misalign, &chunklen, in, 1))
667                 goto err;
668             tmplen += chunklen;
669             in++;
670             in_len--;
671         }
672         if (in_len > 1) {
673             if (!EVP_CipherUpdate(ctx, tmp + out_misalign + tmplen, &chunklen,
674                                   in, in_len - 1))
675                 goto err;
676             tmplen += chunklen;
677             in += in_len - 1;
678             in_len = 1;
679         }
680         if (in_len > 0 ) {
681             if (!EVP_CipherUpdate(ctx, tmp + out_misalign + tmplen, &chunklen,
682                                   in, 1))
683                 goto err;
684             tmplen += chunklen;
685         }
686     }
687     if (!EVP_CipherFinal_ex(ctx, tmp + out_misalign + tmplen, &tmpflen)) {
688         t->err = "CIPHERFINAL_ERROR";
689         goto err;
690     }
691     if (!TEST_mem_eq(expected_out, out_len,
692                      tmp + out_misalign, tmplen + tmpflen)) {
693         t->err = "VALUE_MISMATCH";
694         goto err;
695     }
696     if (enc && expected->aead) {
697         unsigned char rtag[16];
698
699         if (!TEST_size_t_le(expected->tag_len, sizeof(rtag))) {
700             t->err = "TAG_LENGTH_INTERNAL_ERROR";
701             goto err;
702         }
703         if (!EVP_CIPHER_CTX_ctrl(ctx, EVP_CTRL_AEAD_GET_TAG,
704                                  expected->tag_len, rtag)) {
705             t->err = "TAG_RETRIEVE_ERROR";
706             goto err;
707         }
708         if (!TEST_mem_eq(expected->tag, expected->tag_len,
709                          rtag, expected->tag_len)) {
710             t->err = "TAG_VALUE_MISMATCH";
711             goto err;
712         }
713     }
714     t->err = NULL;
715     ok = 1;
716  err:
717     OPENSSL_free(tmp);
718     EVP_CIPHER_CTX_free(ctx);
719     return ok;
720 }
721
722 static int cipher_test_run(EVP_TEST *t)
723 {
724     CIPHER_DATA *cdat = t->data;
725     int rv, frag = 0;
726     size_t out_misalign, inp_misalign;
727
728     if (!cdat->key) {
729         t->err = "NO_KEY";
730         return 0;
731     }
732     if (!cdat->iv && EVP_CIPHER_iv_length(cdat->cipher)) {
733         /* IV is optional and usually omitted in wrap mode */
734         if (EVP_CIPHER_mode(cdat->cipher) != EVP_CIPH_WRAP_MODE) {
735             t->err = "NO_IV";
736             return 0;
737         }
738     }
739     if (cdat->aead && !cdat->tag) {
740         t->err = "NO_TAG";
741         return 0;
742     }
743     for (out_misalign = 0; out_misalign <= 1;) {
744         static char aux_err[64];
745         t->aux_err = aux_err;
746         for (inp_misalign = (size_t)-1; inp_misalign != 2; inp_misalign++) {
747             if (inp_misalign == (size_t)-1) {
748                 /* kludge: inp_misalign == -1 means "exercise in-place" */
749                 BIO_snprintf(aux_err, sizeof(aux_err),
750                              "%s in-place, %sfragmented",
751                              out_misalign ? "misaligned" : "aligned",
752                              frag ? "" : "not ");
753             } else {
754                 BIO_snprintf(aux_err, sizeof(aux_err),
755                              "%s output and %s input, %sfragmented",
756                              out_misalign ? "misaligned" : "aligned",
757                              inp_misalign ? "misaligned" : "aligned",
758                              frag ? "" : "not ");
759             }
760             if (cdat->enc) {
761                 rv = cipher_test_enc(t, 1, out_misalign, inp_misalign, frag);
762                 /* Not fatal errors: return */
763                 if (rv != 1) {
764                     if (rv < 0)
765                         return 0;
766                     return 1;
767                 }
768             }
769             if (cdat->enc != 1) {
770                 rv = cipher_test_enc(t, 0, out_misalign, inp_misalign, frag);
771                 /* Not fatal errors: return */
772                 if (rv != 1) {
773                     if (rv < 0)
774                         return 0;
775                     return 1;
776                 }
777             }
778         }
779
780         if (out_misalign == 1 && frag == 0) {
781             /*
782              * XTS, CCM and Wrap modes have special requirements about input
783              * lengths so we don't fragment for those
784              */
785             if (cdat->aead == EVP_CIPH_CCM_MODE
786                     || EVP_CIPHER_mode(cdat->cipher) == EVP_CIPH_XTS_MODE
787                     || EVP_CIPHER_mode(cdat->cipher) == EVP_CIPH_WRAP_MODE)
788                 break;
789             out_misalign = 0;
790             frag++;
791         } else {
792             out_misalign++;
793         }
794     }
795     t->aux_err = NULL;
796
797     return 1;
798 }
799
800 static const EVP_TEST_METHOD cipher_test_method = {
801     "Cipher",
802     cipher_test_init,
803     cipher_test_cleanup,
804     cipher_test_parse,
805     cipher_test_run
806 };
807
808
809 /**
810 ***  MAC TESTS
811 **/
812
813 typedef struct mac_data_st {
814     /* MAC type */
815     int type;
816     /* Algorithm string for this MAC */
817     char *alg;
818     /* MAC key */
819     unsigned char *key;
820     size_t key_len;
821     /* Input to MAC */
822     unsigned char *input;
823     size_t input_len;
824     /* Expected output */
825     unsigned char *output;
826     size_t output_len;
827 } MAC_DATA;
828
829 static int mac_test_init(EVP_TEST *t, const char *alg)
830 {
831     int type;
832     MAC_DATA *mdat;
833
834     if (strcmp(alg, "HMAC") == 0) {
835         type = EVP_PKEY_HMAC;
836     } else if (strcmp(alg, "CMAC") == 0) {
837 #ifndef OPENSSL_NO_CMAC
838         type = EVP_PKEY_CMAC;
839 #else
840         t->skip = 1;
841         return 1;
842 #endif
843     } else if (strcmp(alg, "Poly1305") == 0) {
844 #ifndef OPENSSL_NO_POLY1305
845         type = EVP_PKEY_POLY1305;
846 #else
847         t->skip = 1;
848         return 1;
849 #endif
850     } else if (strcmp(alg, "SipHash") == 0) {
851 #ifndef OPENSSL_NO_SIPHASH
852         type = EVP_PKEY_SIPHASH;
853 #else
854         t->skip = 1;
855         return 1;
856 #endif
857     } else
858         return 0;
859
860     mdat = OPENSSL_zalloc(sizeof(*mdat));
861     mdat->type = type;
862     t->data = mdat;
863     return 1;
864 }
865
866 static void mac_test_cleanup(EVP_TEST *t)
867 {
868     MAC_DATA *mdat = t->data;
869
870     OPENSSL_free(mdat->alg);
871     OPENSSL_free(mdat->key);
872     OPENSSL_free(mdat->input);
873     OPENSSL_free(mdat->output);
874 }
875
876 static int mac_test_parse(EVP_TEST *t,
877                           const char *keyword, const char *value)
878 {
879     MAC_DATA *mdata = t->data;
880
881     if (strcmp(keyword, "Key") == 0)
882         return parse_bin(value, &mdata->key, &mdata->key_len);
883     if (strcmp(keyword, "Algorithm") == 0) {
884         mdata->alg = OPENSSL_strdup(value);
885         if (!mdata->alg)
886             return 0;
887         return 1;
888     }
889     if (strcmp(keyword, "Input") == 0)
890         return parse_bin(value, &mdata->input, &mdata->input_len);
891     if (strcmp(keyword, "Output") == 0)
892         return parse_bin(value, &mdata->output, &mdata->output_len);
893     return 0;
894 }
895
896 static int mac_test_run(EVP_TEST *t)
897 {
898     MAC_DATA *expected = t->data;
899     EVP_MD_CTX *mctx = NULL;
900     EVP_PKEY_CTX *pctx = NULL, *genctx = NULL;
901     EVP_PKEY *key = NULL;
902     const EVP_MD *md = NULL;
903     unsigned char *got = NULL;
904     size_t got_len;
905
906 #ifdef OPENSSL_NO_DES
907     if (expected->alg != NULL && strstr(expected->alg, "DES") != NULL) {
908         /* Skip DES */
909         t->err = NULL;
910         goto err;
911     }
912 #endif
913
914     if (!TEST_ptr(genctx = EVP_PKEY_CTX_new_id(expected->type, NULL))) {
915         t->err = "MAC_PKEY_CTX_ERROR";
916         goto err;
917     }
918
919     if (EVP_PKEY_keygen_init(genctx) <= 0) {
920         t->err = "MAC_KEYGEN_INIT_ERROR";
921         goto err;
922     }
923     if (expected->type == EVP_PKEY_CMAC
924              && EVP_PKEY_CTX_ctrl_str(genctx, "cipher", expected->alg) <= 0) {
925         t->err = "MAC_ALGORITHM_SET_ERROR";
926         goto err;
927     }
928
929     if (EVP_PKEY_CTX_set_mac_key(genctx, expected->key,
930                                  expected->key_len) <= 0) {
931         t->err = "MAC_KEY_SET_ERROR";
932         goto err;
933     }
934
935     if (EVP_PKEY_keygen(genctx, &key) <= 0) {
936         t->err = "MAC_KEY_GENERATE_ERROR";
937         goto err;
938     }
939     if (expected->type == EVP_PKEY_HMAC) {
940         if (!TEST_ptr(md = EVP_get_digestbyname(expected->alg))) {
941             t->err = "MAC_ALGORITHM_SET_ERROR";
942             goto err;
943         }
944     }
945     if (!TEST_ptr(mctx = EVP_MD_CTX_new())) {
946         t->err = "INTERNAL_ERROR";
947         goto err;
948     }
949     if (!EVP_DigestSignInit(mctx, &pctx, md, NULL, key)) {
950         t->err = "DIGESTSIGNINIT_ERROR";
951         goto err;
952     }
953
954     if (!EVP_DigestSignUpdate(mctx, expected->input, expected->input_len)) {
955         t->err = "DIGESTSIGNUPDATE_ERROR";
956         goto err;
957     }
958     if (!EVP_DigestSignFinal(mctx, NULL, &got_len)) {
959         t->err = "DIGESTSIGNFINAL_LENGTH_ERROR";
960         goto err;
961     }
962     if (!TEST_ptr(got = OPENSSL_malloc(got_len))) {
963         t->err = "TEST_FAILURE";
964         goto err;
965     }
966     if (!EVP_DigestSignFinal(mctx, got, &got_len)
967             || !TEST_mem_eq(expected->output, expected->output_len,
968                             got, got_len)) {
969         t->err = "TEST_MAC_ERR";
970         goto err;
971     }
972     t->err = NULL;
973  err:
974     EVP_MD_CTX_free(mctx);
975     OPENSSL_free(got);
976     EVP_PKEY_CTX_free(genctx);
977     EVP_PKEY_free(key);
978     return 1;
979 }
980
981 static const EVP_TEST_METHOD mac_test_method = {
982     "MAC",
983     mac_test_init,
984     mac_test_cleanup,
985     mac_test_parse,
986     mac_test_run
987 };
988
989
990 /**
991 ***  PUBLIC KEY TESTS
992 ***  These are all very similar and share much common code.
993 **/
994
995 typedef struct pkey_data_st {
996     /* Context for this operation */
997     EVP_PKEY_CTX *ctx;
998     /* Key operation to perform */
999     int (*keyop) (EVP_PKEY_CTX *ctx,
1000                   unsigned char *sig, size_t *siglen,
1001                   const unsigned char *tbs, size_t tbslen);
1002     /* Input to MAC */
1003     unsigned char *input;
1004     size_t input_len;
1005     /* Expected output */
1006     unsigned char *output;
1007     size_t output_len;
1008 } PKEY_DATA;
1009
1010 /*
1011  * Perform public key operation setup: lookup key, allocated ctx and call
1012  * the appropriate initialisation function
1013  */
1014 static int pkey_test_init(EVP_TEST *t, const char *name,
1015                           int use_public,
1016                           int (*keyopinit) (EVP_PKEY_CTX *ctx),
1017                           int (*keyop)(EVP_PKEY_CTX *ctx,
1018                                        unsigned char *sig, size_t *siglen,
1019                                        const unsigned char *tbs,
1020                                        size_t tbslen))
1021 {
1022     PKEY_DATA *kdata;
1023     EVP_PKEY *pkey = NULL;
1024     int rv = 0;
1025
1026     if (use_public)
1027         rv = find_key(&pkey, name, public_keys);
1028     if (rv == 0)
1029         rv = find_key(&pkey, name, private_keys);
1030     if (rv == 0 || pkey == NULL) {
1031         t->skip = 1;
1032         return 1;
1033     }
1034
1035     if (!TEST_ptr(kdata = OPENSSL_zalloc(sizeof(*kdata)))) {
1036         EVP_PKEY_free(pkey);
1037         return 0;
1038     }
1039     kdata->keyop = keyop;
1040     if (!TEST_ptr(kdata->ctx = EVP_PKEY_CTX_new(pkey, NULL))) {
1041         EVP_PKEY_free(pkey);
1042         OPENSSL_free(kdata);
1043         return 0;
1044     }
1045     if (keyopinit(kdata->ctx) <= 0)
1046         t->err = "KEYOP_INIT_ERROR";
1047     t->data = kdata;
1048     return 1;
1049 }
1050
1051 static void pkey_test_cleanup(EVP_TEST *t)
1052 {
1053     PKEY_DATA *kdata = t->data;
1054
1055     OPENSSL_free(kdata->input);
1056     OPENSSL_free(kdata->output);
1057     EVP_PKEY_CTX_free(kdata->ctx);
1058 }
1059
1060 static int pkey_test_ctrl(EVP_TEST *t, EVP_PKEY_CTX *pctx,
1061                           const char *value)
1062 {
1063     int rv;
1064     char *p, *tmpval;
1065
1066     if (!TEST_ptr(tmpval = OPENSSL_strdup(value)))
1067         return 0;
1068     p = strchr(tmpval, ':');
1069     if (p != NULL)
1070         *p++ = '\0';
1071     rv = EVP_PKEY_CTX_ctrl_str(pctx, tmpval, p);
1072     if (rv == -2) {
1073         t->err = "PKEY_CTRL_INVALID";
1074         rv = 1;
1075     } else if (p != NULL && rv <= 0) {
1076         /* If p has an OID and lookup fails assume disabled algorithm */
1077         int nid = OBJ_sn2nid(p);
1078
1079         if (nid == NID_undef)
1080              nid = OBJ_ln2nid(p);
1081         if (nid != NID_undef
1082                 && EVP_get_digestbynid(nid) == NULL
1083                 && EVP_get_cipherbynid(nid) == NULL) {
1084             t->skip = 1;
1085             rv = 1;
1086         } else {
1087             t->err = "PKEY_CTRL_ERROR";
1088             rv = 1;
1089         }
1090     }
1091     OPENSSL_free(tmpval);
1092     return rv > 0;
1093 }
1094
1095 static int pkey_test_parse(EVP_TEST *t,
1096                            const char *keyword, const char *value)
1097 {
1098     PKEY_DATA *kdata = t->data;
1099     if (strcmp(keyword, "Input") == 0)
1100         return parse_bin(value, &kdata->input, &kdata->input_len);
1101     if (strcmp(keyword, "Output") == 0)
1102         return parse_bin(value, &kdata->output, &kdata->output_len);
1103     if (strcmp(keyword, "Ctrl") == 0)
1104         return pkey_test_ctrl(t, kdata->ctx, value);
1105     return 0;
1106 }
1107
1108 static int pkey_test_run(EVP_TEST *t)
1109 {
1110     PKEY_DATA *expected = t->data;
1111     unsigned char *got = NULL;
1112     size_t got_len;
1113
1114     if (expected->keyop(expected->ctx, NULL, &got_len,
1115                         expected->input, expected->input_len) <= 0
1116             || !TEST_ptr(got = OPENSSL_malloc(got_len))) {
1117         t->err = "KEYOP_LENGTH_ERROR";
1118         goto err;
1119     }
1120     if (expected->keyop(expected->ctx, got, &got_len,
1121                         expected->input, expected->input_len) <= 0) {
1122         t->err = "KEYOP_ERROR";
1123         goto err;
1124     }
1125     if (!TEST_mem_eq(expected->output, expected->output_len, got, got_len)) {
1126         t->err = "KEYOP_MISMATCH";
1127         goto err;
1128     }
1129     t->err = NULL;
1130  err:
1131     OPENSSL_free(got);
1132     return 1;
1133 }
1134
1135 static int sign_test_init(EVP_TEST *t, const char *name)
1136 {
1137     return pkey_test_init(t, name, 0, EVP_PKEY_sign_init, EVP_PKEY_sign);
1138 }
1139
1140 static const EVP_TEST_METHOD psign_test_method = {
1141     "Sign",
1142     sign_test_init,
1143     pkey_test_cleanup,
1144     pkey_test_parse,
1145     pkey_test_run
1146 };
1147
1148 static int verify_recover_test_init(EVP_TEST *t, const char *name)
1149 {
1150     return pkey_test_init(t, name, 1, EVP_PKEY_verify_recover_init,
1151                           EVP_PKEY_verify_recover);
1152 }
1153
1154 static const EVP_TEST_METHOD pverify_recover_test_method = {
1155     "VerifyRecover",
1156     verify_recover_test_init,
1157     pkey_test_cleanup,
1158     pkey_test_parse,
1159     pkey_test_run
1160 };
1161
1162 static int decrypt_test_init(EVP_TEST *t, const char *name)
1163 {
1164     return pkey_test_init(t, name, 0, EVP_PKEY_decrypt_init,
1165                           EVP_PKEY_decrypt);
1166 }
1167
1168 static const EVP_TEST_METHOD pdecrypt_test_method = {
1169     "Decrypt",
1170     decrypt_test_init,
1171     pkey_test_cleanup,
1172     pkey_test_parse,
1173     pkey_test_run
1174 };
1175
1176 static int verify_test_init(EVP_TEST *t, const char *name)
1177 {
1178     return pkey_test_init(t, name, 1, EVP_PKEY_verify_init, 0);
1179 }
1180
1181 static int verify_test_run(EVP_TEST *t)
1182 {
1183     PKEY_DATA *kdata = t->data;
1184
1185     if (EVP_PKEY_verify(kdata->ctx, kdata->output, kdata->output_len,
1186                         kdata->input, kdata->input_len) <= 0)
1187         t->err = "VERIFY_ERROR";
1188     return 1;
1189 }
1190
1191 static const EVP_TEST_METHOD pverify_test_method = {
1192     "Verify",
1193     verify_test_init,
1194     pkey_test_cleanup,
1195     pkey_test_parse,
1196     verify_test_run
1197 };
1198
1199
1200 static int pderive_test_init(EVP_TEST *t, const char *name)
1201 {
1202     return pkey_test_init(t, name, 0, EVP_PKEY_derive_init, 0);
1203 }
1204
1205 static int pderive_test_parse(EVP_TEST *t,
1206                               const char *keyword, const char *value)
1207 {
1208     PKEY_DATA *kdata = t->data;
1209
1210     if (strcmp(keyword, "PeerKey") == 0) {
1211         EVP_PKEY *peer;
1212         if (find_key(&peer, value, public_keys) == 0)
1213             return 0;
1214         if (EVP_PKEY_derive_set_peer(kdata->ctx, peer) <= 0)
1215             return 0;
1216         return 1;
1217     }
1218     if (strcmp(keyword, "SharedSecret") == 0)
1219         return parse_bin(value, &kdata->output, &kdata->output_len);
1220     if (strcmp(keyword, "Ctrl") == 0)
1221         return pkey_test_ctrl(t, kdata->ctx, value);
1222     return 0;
1223 }
1224
1225 static int pderive_test_run(EVP_TEST *t)
1226 {
1227     PKEY_DATA *expected = t->data;
1228     unsigned char *got = NULL;
1229     size_t got_len;
1230
1231     if (EVP_PKEY_derive(expected->ctx, NULL, &got_len) <= 0) {
1232         t->err = "DERIVE_ERROR";
1233         goto err;
1234     }
1235     if (!TEST_ptr(got = OPENSSL_malloc(got_len))) {
1236         t->err = "DERIVE_ERROR";
1237         goto err;
1238     }
1239     if (EVP_PKEY_derive(expected->ctx, got, &got_len) <= 0) {
1240         t->err = "DERIVE_ERROR";
1241         goto err;
1242     }
1243     if (!TEST_mem_eq(expected->output, expected->output_len, got, got_len)) {
1244         t->err = "SHARED_SECRET_MISMATCH";
1245         goto err;
1246     }
1247
1248     t->err = NULL;
1249  err:
1250     OPENSSL_free(got);
1251     return 1;
1252 }
1253
1254 static const EVP_TEST_METHOD pderive_test_method = {
1255     "Derive",
1256     pderive_test_init,
1257     pkey_test_cleanup,
1258     pderive_test_parse,
1259     pderive_test_run
1260 };
1261
1262
1263 /**
1264 ***  PBE TESTS
1265 **/
1266
1267 typedef enum pbe_type_enum {
1268     PBE_TYPE_INVALID = 0,
1269     PBE_TYPE_SCRYPT, PBE_TYPE_PBKDF2, PBE_TYPE_PKCS12
1270 } PBE_TYPE;
1271
1272 typedef struct pbe_data_st {
1273     PBE_TYPE pbe_type;
1274         /* scrypt parameters */
1275     uint64_t N, r, p, maxmem;
1276         /* PKCS#12 parameters */
1277     int id, iter;
1278     const EVP_MD *md;
1279         /* password */
1280     unsigned char *pass;
1281     size_t pass_len;
1282         /* salt */
1283     unsigned char *salt;
1284     size_t salt_len;
1285         /* Expected output */
1286     unsigned char *key;
1287     size_t key_len;
1288 } PBE_DATA;
1289
1290 #ifndef OPENSSL_NO_SCRYPT
1291 /*
1292  * Parse unsigned decimal 64 bit integer value
1293  */
1294 static int parse_uint64(const char *value, uint64_t *pr)
1295 {
1296     const char *p = value;
1297
1298     if (!TEST_true(*p)) {
1299         TEST_info("Invalid empty integer value");
1300         return -1;
1301     }
1302     for (*pr = 0; *p; ) {
1303         if (*pr > UINT64_MAX / 10) {
1304             TEST_error("Integer overflow in string %s", value);
1305             return -1;
1306         }
1307         *pr *= 10;
1308         if (!TEST_true(isdigit((unsigned char)*p))) {
1309             TEST_error("Invalid character in string %s", value);
1310             return -1;
1311         }
1312         *pr += *p - '0';
1313         p++;
1314     }
1315     return 1;
1316 }
1317
1318 static int scrypt_test_parse(EVP_TEST *t,
1319                              const char *keyword, const char *value)
1320 {
1321     PBE_DATA *pdata = t->data;
1322
1323     if (strcmp(keyword, "N") == 0)
1324         return parse_uint64(value, &pdata->N);
1325     if (strcmp(keyword, "p") == 0)
1326         return parse_uint64(value, &pdata->p);
1327     if (strcmp(keyword, "r") == 0)
1328         return parse_uint64(value, &pdata->r);
1329     if (strcmp(keyword, "maxmem") == 0)
1330         return parse_uint64(value, &pdata->maxmem);
1331     return 0;
1332 }
1333 #endif
1334
1335 static int pbkdf2_test_parse(EVP_TEST *t,
1336                              const char *keyword, const char *value)
1337 {
1338     PBE_DATA *pdata = t->data;
1339
1340     if (strcmp(keyword, "iter") == 0) {
1341         pdata->iter = atoi(value);
1342         if (pdata->iter <= 0)
1343             return -1;
1344         return 1;
1345     }
1346     if (strcmp(keyword, "MD") == 0) {
1347         pdata->md = EVP_get_digestbyname(value);
1348         if (pdata->md == NULL)
1349             return -1;
1350         return 1;
1351     }
1352     return 0;
1353 }
1354
1355 static int pkcs12_test_parse(EVP_TEST *t,
1356                              const char *keyword, const char *value)
1357 {
1358     PBE_DATA *pdata = t->data;
1359
1360     if (strcmp(keyword, "id") == 0) {
1361         pdata->id = atoi(value);
1362         if (pdata->id <= 0)
1363             return -1;
1364         return 1;
1365     }
1366     return pbkdf2_test_parse(t, keyword, value);
1367 }
1368
1369 static int pbe_test_init(EVP_TEST *t, const char *alg)
1370 {
1371     PBE_DATA *pdat;
1372     PBE_TYPE pbe_type = PBE_TYPE_INVALID;
1373
1374     if (strcmp(alg, "scrypt") == 0) {
1375 #ifndef OPENSSL_NO_SCRYPT
1376         pbe_type = PBE_TYPE_SCRYPT;
1377 #else
1378         t->skip = 1;
1379         return 1;
1380 #endif
1381     } else if (strcmp(alg, "pbkdf2") == 0) {
1382         pbe_type = PBE_TYPE_PBKDF2;
1383     } else if (strcmp(alg, "pkcs12") == 0) {
1384         pbe_type = PBE_TYPE_PKCS12;
1385     } else {
1386         TEST_error("Unknown pbe algorithm %s", alg);
1387     }
1388     pdat = OPENSSL_zalloc(sizeof(*pdat));
1389     pdat->pbe_type = pbe_type;
1390     t->data = pdat;
1391     return 1;
1392 }
1393
1394 static void pbe_test_cleanup(EVP_TEST *t)
1395 {
1396     PBE_DATA *pdat = t->data;
1397
1398     OPENSSL_free(pdat->pass);
1399     OPENSSL_free(pdat->salt);
1400     OPENSSL_free(pdat->key);
1401 }
1402
1403 static int pbe_test_parse(EVP_TEST *t,
1404                           const char *keyword, const char *value)
1405 {
1406     PBE_DATA *pdata = t->data;
1407
1408     if (strcmp(keyword, "Password") == 0)
1409         return parse_bin(value, &pdata->pass, &pdata->pass_len);
1410     if (strcmp(keyword, "Salt") == 0)
1411         return parse_bin(value, &pdata->salt, &pdata->salt_len);
1412     if (strcmp(keyword, "Key") == 0)
1413         return parse_bin(value, &pdata->key, &pdata->key_len);
1414     if (pdata->pbe_type == PBE_TYPE_PBKDF2)
1415         return pbkdf2_test_parse(t, keyword, value);
1416     else if (pdata->pbe_type == PBE_TYPE_PKCS12)
1417         return pkcs12_test_parse(t, keyword, value);
1418 #ifndef OPENSSL_NO_SCRYPT
1419     else if (pdata->pbe_type == PBE_TYPE_SCRYPT)
1420         return scrypt_test_parse(t, keyword, value);
1421 #endif
1422     return 0;
1423 }
1424
1425 static int pbe_test_run(EVP_TEST *t)
1426 {
1427     PBE_DATA *expected = t->data;
1428     unsigned char *key;
1429
1430     if (!TEST_ptr(key = OPENSSL_malloc(expected->key_len))) {
1431         t->err = "INTERNAL_ERROR";
1432         goto err;
1433     }
1434     if (expected->pbe_type == PBE_TYPE_PBKDF2) {
1435         if (PKCS5_PBKDF2_HMAC((char *)expected->pass, expected->pass_len,
1436                               expected->salt, expected->salt_len,
1437                               expected->iter, expected->md,
1438                               expected->key_len, key) == 0) {
1439             t->err = "PBKDF2_ERROR";
1440             goto err;
1441         }
1442 #ifndef OPENSSL_NO_SCRYPT
1443     } else if (expected->pbe_type == PBE_TYPE_SCRYPT) {
1444         if (EVP_PBE_scrypt((const char *)expected->pass, expected->pass_len,
1445                            expected->salt, expected->salt_len, expected->N,
1446                            expected->r, expected->p, expected->maxmem,
1447                            key, expected->key_len) == 0) {
1448             t->err = "SCRYPT_ERROR";
1449             goto err;
1450         }
1451 #endif
1452     } else if (expected->pbe_type == PBE_TYPE_PKCS12) {
1453         if (PKCS12_key_gen_uni(expected->pass, expected->pass_len,
1454                                expected->salt, expected->salt_len,
1455                                expected->id, expected->iter, expected->key_len,
1456                                key, expected->md) == 0) {
1457             t->err = "PKCS12_ERROR";
1458             goto err;
1459         }
1460     }
1461     if (!TEST_mem_eq(expected->key, expected->key_len,
1462                      key, expected->key_len)) {
1463         t->err = "KEY_MISMATCH";
1464         goto err;
1465     }
1466     t->err = NULL;
1467 err:
1468     OPENSSL_free(key);
1469     return 1;
1470 }
1471
1472 static const EVP_TEST_METHOD pbe_test_method = {
1473     "PBE",
1474     pbe_test_init,
1475     pbe_test_cleanup,
1476     pbe_test_parse,
1477     pbe_test_run
1478 };
1479
1480
1481 /**
1482 ***  BASE64 TESTS
1483 **/
1484
1485 typedef enum {
1486     BASE64_CANONICAL_ENCODING = 0,
1487     BASE64_VALID_ENCODING = 1,
1488     BASE64_INVALID_ENCODING = 2
1489 } base64_encoding_type;
1490
1491 typedef struct encode_data_st {
1492     /* Input to encoding */
1493     unsigned char *input;
1494     size_t input_len;
1495     /* Expected output */
1496     unsigned char *output;
1497     size_t output_len;
1498     base64_encoding_type encoding;
1499 } ENCODE_DATA;
1500
1501 static int encode_test_init(EVP_TEST *t, const char *encoding)
1502 {
1503     ENCODE_DATA *edata;
1504
1505     if (!TEST_ptr(edata = OPENSSL_zalloc(sizeof(*edata))))
1506         return 0;
1507     if (strcmp(encoding, "canonical") == 0) {
1508         edata->encoding = BASE64_CANONICAL_ENCODING;
1509     } else if (strcmp(encoding, "valid") == 0) {
1510         edata->encoding = BASE64_VALID_ENCODING;
1511     } else if (strcmp(encoding, "invalid") == 0) {
1512         edata->encoding = BASE64_INVALID_ENCODING;
1513         if (!TEST_ptr(t->expected_err = OPENSSL_strdup("DECODE_ERROR")))
1514             return 0;
1515     } else {
1516         TEST_error("Bad encoding: %s."
1517                    " Should be one of {canonical, valid, invalid}",
1518                    encoding);
1519         return 0;
1520     }
1521     t->data = edata;
1522     return 1;
1523 }
1524
1525 static void encode_test_cleanup(EVP_TEST *t)
1526 {
1527     ENCODE_DATA *edata = t->data;
1528
1529     OPENSSL_free(edata->input);
1530     OPENSSL_free(edata->output);
1531     memset(edata, 0, sizeof(*edata));
1532 }
1533
1534 static int encode_test_parse(EVP_TEST *t,
1535                              const char *keyword, const char *value)
1536 {
1537     ENCODE_DATA *edata = t->data;
1538
1539     if (strcmp(keyword, "Input") == 0)
1540         return parse_bin(value, &edata->input, &edata->input_len);
1541     if (strcmp(keyword, "Output") == 0)
1542         return parse_bin(value, &edata->output, &edata->output_len);
1543     return 0;
1544 }
1545
1546 static int encode_test_run(EVP_TEST *t)
1547 {
1548     ENCODE_DATA *expected = t->data;
1549     unsigned char *encode_out = NULL, *decode_out = NULL;
1550     int output_len, chunk_len;
1551     EVP_ENCODE_CTX *decode_ctx;
1552
1553     if (!TEST_ptr(decode_ctx = EVP_ENCODE_CTX_new())) {
1554         t->err = "INTERNAL_ERROR";
1555         goto err;
1556     }
1557
1558     if (expected->encoding == BASE64_CANONICAL_ENCODING) {
1559         EVP_ENCODE_CTX *encode_ctx;
1560
1561         if (!TEST_ptr(encode_ctx = EVP_ENCODE_CTX_new())
1562                 || !TEST_ptr(encode_out =
1563                         OPENSSL_malloc(EVP_ENCODE_LENGTH(expected->input_len))))
1564             goto err;
1565
1566         EVP_EncodeInit(encode_ctx);
1567         EVP_EncodeUpdate(encode_ctx, encode_out, &chunk_len,
1568                          expected->input, expected->input_len);
1569         output_len = chunk_len;
1570
1571         EVP_EncodeFinal(encode_ctx, encode_out + chunk_len, &chunk_len);
1572         output_len += chunk_len;
1573
1574         EVP_ENCODE_CTX_free(encode_ctx);
1575
1576         if (!TEST_mem_eq(expected->output, expected->output_len,
1577                          encode_out, output_len)) {
1578             t->err = "BAD_ENCODING";
1579             goto err;
1580         }
1581     }
1582
1583     if (!TEST_ptr(decode_out =
1584                 OPENSSL_malloc(EVP_DECODE_LENGTH(expected->output_len))))
1585         goto err;
1586
1587     EVP_DecodeInit(decode_ctx);
1588     if (EVP_DecodeUpdate(decode_ctx, decode_out, &chunk_len, expected->output,
1589                          expected->output_len) < 0) {
1590         t->err = "DECODE_ERROR";
1591         goto err;
1592     }
1593     output_len = chunk_len;
1594
1595     if (EVP_DecodeFinal(decode_ctx, decode_out + chunk_len, &chunk_len) != 1) {
1596         t->err = "DECODE_ERROR";
1597         goto err;
1598     }
1599     output_len += chunk_len;
1600
1601     if (expected->encoding != BASE64_INVALID_ENCODING
1602             && !TEST_mem_eq(expected->input, expected->input_len,
1603                             decode_out, output_len)) {
1604         t->err = "BAD_DECODING";
1605         goto err;
1606     }
1607
1608     t->err = NULL;
1609  err:
1610     OPENSSL_free(encode_out);
1611     OPENSSL_free(decode_out);
1612     EVP_ENCODE_CTX_free(decode_ctx);
1613     return 1;
1614 }
1615
1616 static const EVP_TEST_METHOD encode_test_method = {
1617     "Encoding",
1618     encode_test_init,
1619     encode_test_cleanup,
1620     encode_test_parse,
1621     encode_test_run,
1622 };
1623
1624 /**
1625 ***  KDF TESTS
1626 **/
1627
1628 typedef struct kdf_data_st {
1629     /* Context for this operation */
1630     EVP_PKEY_CTX *ctx;
1631     /* Expected output */
1632     unsigned char *output;
1633     size_t output_len;
1634 } KDF_DATA;
1635
1636 /*
1637  * Perform public key operation setup: lookup key, allocated ctx and call
1638  * the appropriate initialisation function
1639  */
1640 static int kdf_test_init(EVP_TEST *t, const char *name)
1641 {
1642     KDF_DATA *kdata;
1643     int kdf_nid = OBJ_sn2nid(name);
1644
1645 #ifdef OPENSSL_NO_SCRYPT
1646     if (strcmp(name, "scrypt") == 0) {
1647         t->skip = 1;
1648         return 1;
1649     }
1650 #endif
1651
1652     if (kdf_nid == NID_undef)
1653         kdf_nid = OBJ_ln2nid(name);
1654
1655     if (!TEST_ptr(kdata = OPENSSL_zalloc(sizeof(*kdata))))
1656         return 0;
1657     kdata->ctx = EVP_PKEY_CTX_new_id(kdf_nid, NULL);
1658     if (kdata->ctx == NULL) {
1659         OPENSSL_free(kdata);
1660         return 0;
1661     }
1662     if (EVP_PKEY_derive_init(kdata->ctx) <= 0) {
1663         EVP_PKEY_CTX_free(kdata->ctx);
1664         OPENSSL_free(kdata);
1665         return 0;
1666     }
1667     t->data = kdata;
1668     return 1;
1669 }
1670
1671 static void kdf_test_cleanup(EVP_TEST *t)
1672 {
1673     KDF_DATA *kdata = t->data;
1674     OPENSSL_free(kdata->output);
1675     EVP_PKEY_CTX_free(kdata->ctx);
1676 }
1677
1678 static int kdf_test_parse(EVP_TEST *t,
1679                           const char *keyword, const char *value)
1680 {
1681     KDF_DATA *kdata = t->data;
1682
1683     if (strcmp(keyword, "Output") == 0)
1684         return parse_bin(value, &kdata->output, &kdata->output_len);
1685     if (strncmp(keyword, "Ctrl", 4) == 0)
1686         return pkey_test_ctrl(t, kdata->ctx, value);
1687     return 0;
1688 }
1689
1690 static int kdf_test_run(EVP_TEST *t)
1691 {
1692     KDF_DATA *expected = t->data;
1693     unsigned char *got = NULL;
1694     size_t got_len = expected->output_len;
1695
1696     if (!TEST_ptr(got = OPENSSL_malloc(got_len))) {
1697         t->err = "INTERNAL_ERROR";
1698         goto err;
1699     }
1700     if (EVP_PKEY_derive(expected->ctx, got, &got_len) <= 0) {
1701         t->err = "KDF_DERIVE_ERROR";
1702         goto err;
1703     }
1704     if (!TEST_mem_eq(expected->output, expected->output_len, got, got_len)) {
1705         t->err = "KDF_MISMATCH";
1706         goto err;
1707     }
1708     t->err = NULL;
1709
1710  err:
1711     OPENSSL_free(got);
1712     return 1;
1713 }
1714
1715 static const EVP_TEST_METHOD kdf_test_method = {
1716     "KDF",
1717     kdf_test_init,
1718     kdf_test_cleanup,
1719     kdf_test_parse,
1720     kdf_test_run
1721 };
1722
1723
1724 /**
1725 ***  KEYPAIR TESTS
1726 **/
1727
1728 typedef struct keypair_test_data_st {
1729     EVP_PKEY *privk;
1730     EVP_PKEY *pubk;
1731 } KEYPAIR_TEST_DATA;
1732
1733 static int keypair_test_init(EVP_TEST *t, const char *pair)
1734 {
1735     KEYPAIR_TEST_DATA *data;
1736     int rv = 0;
1737     EVP_PKEY *pk = NULL, *pubk = NULL;
1738     char *pub, *priv = NULL;
1739
1740     /* Split private and public names. */
1741     if (!TEST_ptr(priv = OPENSSL_strdup(pair))
1742             || !TEST_ptr(pub = strchr(priv, ':'))) {
1743         t->err = "PARSING_ERROR";
1744         goto end;
1745     }
1746     *pub++ = '\0';
1747
1748     if (!TEST_true(find_key(&pk, priv, private_keys))) {
1749         TEST_info("Can't find private key: %s", priv);
1750         t->err = "MISSING_PRIVATE_KEY";
1751         goto end;
1752     }
1753     if (!TEST_true(find_key(&pubk, pub, public_keys))) {
1754         TEST_info("Can't find public key: %s", pub);
1755         t->err = "MISSING_PUBLIC_KEY";
1756         goto end;
1757     }
1758
1759     if (pk == NULL && pubk == NULL) {
1760         /* Both keys are listed but unsupported: skip this test */
1761         t->skip = 1;
1762         rv = 1;
1763         goto end;
1764     }
1765
1766     if (!TEST_ptr(data = OPENSSL_malloc(sizeof(*data))))
1767         goto end;
1768     data->privk = pk;
1769     data->pubk = pubk;
1770     t->data = data;
1771     rv = 1;
1772     t->err = NULL;
1773
1774 end:
1775     OPENSSL_free(priv);
1776     return rv;
1777 }
1778
1779 static void keypair_test_cleanup(EVP_TEST *t)
1780 {
1781     OPENSSL_free(t->data);
1782     t->data = NULL;
1783 }
1784
1785 /*
1786  * For tests that do not accept any custom keywords.
1787  */
1788 static int void_test_parse(EVP_TEST *t, const char *keyword, const char *value)
1789 {
1790     return 0;
1791 }
1792
1793 static int keypair_test_run(EVP_TEST *t)
1794 {
1795     int rv = 0;
1796     const KEYPAIR_TEST_DATA *pair = t->data;
1797
1798     if (pair->privk == NULL || pair->pubk == NULL) {
1799         /*
1800          * this can only happen if only one of the keys is not set
1801          * which means that one of them was unsupported while the
1802          * other isn't: hence a key type mismatch.
1803          */
1804         t->err = "KEYPAIR_TYPE_MISMATCH";
1805         rv = 1;
1806         goto end;
1807     }
1808
1809     if ((rv = EVP_PKEY_cmp(pair->privk, pair->pubk)) != 1 ) {
1810         if ( 0 == rv ) {
1811             t->err = "KEYPAIR_MISMATCH";
1812         } else if ( -1 == rv ) {
1813             t->err = "KEYPAIR_TYPE_MISMATCH";
1814         } else if ( -2 == rv ) {
1815             t->err = "UNSUPPORTED_KEY_COMPARISON";
1816         } else {
1817             TEST_error("Unexpected error in key comparison");
1818             rv = 0;
1819             goto end;
1820         }
1821         rv = 1;
1822         goto end;
1823     }
1824
1825     rv = 1;
1826     t->err = NULL;
1827
1828 end:
1829     return rv;
1830 }
1831
1832 static const EVP_TEST_METHOD keypair_test_method = {
1833     "PrivPubKeyPair",
1834     keypair_test_init,
1835     keypair_test_cleanup,
1836     void_test_parse,
1837     keypair_test_run
1838 };
1839
1840 /**
1841 ***  KEYGEN TEST
1842 **/
1843
1844 typedef struct keygen_test_data_st {
1845     EVP_PKEY_CTX *genctx; /* Keygen context to use */
1846     char *keyname; /* Key name to store key or NULL */
1847 } KEYGEN_TEST_DATA;
1848
1849 static int keygen_test_init(EVP_TEST *t, const char *alg)
1850 {
1851     KEYGEN_TEST_DATA *data;
1852     EVP_PKEY_CTX *genctx;
1853     int nid = OBJ_sn2nid(alg);
1854
1855     if (nid == NID_undef) {
1856         nid = OBJ_ln2nid(alg);
1857         if (nid == NID_undef)
1858             return 0;
1859     }
1860
1861     if (!TEST_ptr(genctx = EVP_PKEY_CTX_new_id(nid, NULL))) {
1862         /* assume algorithm disabled */
1863         t->skip = 1;
1864         return 1;
1865     }
1866
1867     if (EVP_PKEY_keygen_init(genctx) <= 0) {
1868         t->err = "KEYGEN_INIT_ERROR";
1869         goto err;
1870     }
1871
1872     if (!TEST_ptr(data = OPENSSL_malloc(sizeof(*data))))
1873         goto err;
1874     data->genctx = genctx;
1875     data->keyname = NULL;
1876     t->data = data;
1877     t->err = NULL;
1878     return 1;
1879
1880 err:
1881     EVP_PKEY_CTX_free(genctx);
1882     return 0;
1883 }
1884
1885 static void keygen_test_cleanup(EVP_TEST *t)
1886 {
1887     KEYGEN_TEST_DATA *keygen = t->data;
1888
1889     EVP_PKEY_CTX_free(keygen->genctx);
1890     OPENSSL_free(keygen->keyname);
1891     OPENSSL_free(t->data);
1892     t->data = NULL;
1893 }
1894
1895 static int keygen_test_parse(EVP_TEST *t,
1896                              const char *keyword, const char *value)
1897 {
1898     KEYGEN_TEST_DATA *keygen = t->data;
1899
1900     if (strcmp(keyword, "KeyName") == 0)
1901         return TEST_ptr(keygen->keyname = OPENSSL_strdup(value));
1902     if (strcmp(keyword, "Ctrl") == 0)
1903         return pkey_test_ctrl(t, keygen->genctx, value);
1904     return 0;
1905 }
1906
1907 static int keygen_test_run(EVP_TEST *t)
1908 {
1909     KEYGEN_TEST_DATA *keygen = t->data;
1910     EVP_PKEY *pkey = NULL;
1911
1912     t->err = NULL;
1913     if (EVP_PKEY_keygen(keygen->genctx, &pkey) <= 0) {
1914         t->err = "KEYGEN_GENERATE_ERROR";
1915         goto err;
1916     }
1917
1918     if (keygen->keyname != NULL) {
1919         KEY_LIST *key;
1920
1921         if (find_key(NULL, keygen->keyname, private_keys)) {
1922             TEST_info("Duplicate key %s", keygen->keyname);
1923             goto err;
1924         }
1925
1926         if (!TEST_ptr(key = OPENSSL_malloc(sizeof(*key))))
1927             goto err;
1928         key->name = keygen->keyname;
1929         keygen->keyname = NULL;
1930         key->key = pkey;
1931         key->next = private_keys;
1932         private_keys = key;
1933     } else {
1934         EVP_PKEY_free(pkey);
1935     }
1936
1937     return 1;
1938
1939 err:
1940     EVP_PKEY_free(pkey);
1941     return 0;
1942 }
1943
1944 static const EVP_TEST_METHOD keygen_test_method = {
1945     "KeyGen",
1946     keygen_test_init,
1947     keygen_test_cleanup,
1948     keygen_test_parse,
1949     keygen_test_run,
1950 };
1951
1952 /**
1953 ***  DIGEST SIGN+VERIFY TESTS
1954 **/
1955
1956 typedef struct {
1957     int is_verify; /* Set to 1 if verifying */
1958     int is_oneshot; /* Set to 1 for one shot operation */
1959     const EVP_MD *md; /* Digest to use */
1960     EVP_MD_CTX *ctx; /* Digest context */
1961     EVP_PKEY_CTX *pctx;
1962     STACK_OF(EVP_TEST_BUFFER) *input; /* Input data: streaming */
1963     unsigned char *osin; /* Input data if one shot */
1964     size_t osin_len; /* Input length data if one shot */
1965     unsigned char *output; /* Expected output */
1966     size_t output_len; /* Expected output length */
1967 } DIGESTSIGN_DATA;
1968
1969 static int digestsigver_test_init(EVP_TEST *t, const char *alg, int is_verify,
1970                                   int is_oneshot)
1971 {
1972     const EVP_MD *md = NULL;
1973     DIGESTSIGN_DATA *mdat;
1974
1975     if (strcmp(alg, "NULL") != 0) {
1976         if ((md = EVP_get_digestbyname(alg)) == NULL) {
1977             /* If alg has an OID assume disabled algorithm */
1978             if (OBJ_sn2nid(alg) != NID_undef || OBJ_ln2nid(alg) != NID_undef) {
1979                 t->skip = 1;
1980                 return 1;
1981             }
1982             return 0;
1983         }
1984     }
1985     if (!TEST_ptr(mdat = OPENSSL_zalloc(sizeof(*mdat))))
1986         return 0;
1987     mdat->md = md;
1988     if (!TEST_ptr(mdat->ctx = EVP_MD_CTX_new())) {
1989         OPENSSL_free(mdat);
1990         return 0;
1991     }
1992     mdat->is_verify = is_verify;
1993     mdat->is_oneshot = is_oneshot;
1994     t->data = mdat;
1995     return 1;
1996 }
1997
1998 static int digestsign_test_init(EVP_TEST *t, const char *alg)
1999 {
2000     return digestsigver_test_init(t, alg, 0, 0);
2001 }
2002
2003 static void digestsigver_test_cleanup(EVP_TEST *t)
2004 {
2005     DIGESTSIGN_DATA *mdata = t->data;
2006
2007     EVP_MD_CTX_free(mdata->ctx);
2008     sk_EVP_TEST_BUFFER_pop_free(mdata->input, evp_test_buffer_free);
2009     OPENSSL_free(mdata->osin);
2010     OPENSSL_free(mdata->output);
2011     OPENSSL_free(mdata);
2012     t->data = NULL;
2013 }
2014
2015 static int digestsigver_test_parse(EVP_TEST *t,
2016                                    const char *keyword, const char *value)
2017 {
2018     DIGESTSIGN_DATA *mdata = t->data;
2019
2020     if (strcmp(keyword, "Key") == 0) {
2021         EVP_PKEY *pkey = NULL;
2022         int rv = 0;
2023
2024         if (mdata->is_verify)
2025             rv = find_key(&pkey, value, public_keys);
2026         if (rv == 0)
2027             rv = find_key(&pkey, value, private_keys);
2028         if (rv == 0 || pkey == NULL) {
2029             t->skip = 1;
2030             return 1;
2031         }
2032         if (mdata->is_verify) {
2033             if (!EVP_DigestVerifyInit(mdata->ctx, &mdata->pctx, mdata->md,
2034                                       NULL, pkey))
2035                 t->err = "DIGESTVERIFYINIT_ERROR";
2036             return 1;
2037         }
2038         if (!EVP_DigestSignInit(mdata->ctx, &mdata->pctx, mdata->md, NULL,
2039                                 pkey))
2040             t->err = "DIGESTSIGNINIT_ERROR";
2041         return 1;
2042     }
2043
2044     if (strcmp(keyword, "Input") == 0) {
2045         if (mdata->is_oneshot)
2046             return parse_bin(value, &mdata->osin, &mdata->osin_len);
2047         return evp_test_buffer_append(value, &mdata->input);
2048     }
2049     if (strcmp(keyword, "Output") == 0)
2050         return parse_bin(value, &mdata->output, &mdata->output_len);
2051
2052     if (!mdata->is_oneshot) {
2053         if (strcmp(keyword, "Count") == 0)
2054             return evp_test_buffer_set_count(value, mdata->input);
2055         if (strcmp(keyword, "Ncopy") == 0)
2056             return evp_test_buffer_ncopy(value, mdata->input);
2057     }
2058     if (strcmp(keyword, "Ctrl") == 0) {
2059         if (mdata->pctx == NULL)
2060             return 0;
2061         return pkey_test_ctrl(t, mdata->pctx, value);
2062     }
2063     return 0;
2064 }
2065
2066 static int digestsign_update_fn(void *ctx, const unsigned char *buf,
2067                                 size_t buflen)
2068 {
2069     return EVP_DigestSignUpdate(ctx, buf, buflen);
2070 }
2071
2072 static int digestsign_test_run(EVP_TEST *t)
2073 {
2074     DIGESTSIGN_DATA *expected = t->data;
2075     unsigned char *got = NULL;
2076     size_t got_len;
2077
2078     if (!evp_test_buffer_do(expected->input, digestsign_update_fn,
2079                             expected->ctx)) {
2080         t->err = "DIGESTUPDATE_ERROR";
2081         goto err;
2082     }
2083
2084     if (!EVP_DigestSignFinal(expected->ctx, NULL, &got_len)) {
2085         t->err = "DIGESTSIGNFINAL_LENGTH_ERROR";
2086         goto err;
2087     }
2088     if (!TEST_ptr(got = OPENSSL_malloc(got_len))) {
2089         t->err = "MALLOC_FAILURE";
2090         goto err;
2091     }
2092     if (!EVP_DigestSignFinal(expected->ctx, got, &got_len)) {
2093         t->err = "DIGESTSIGNFINAL_ERROR";
2094         goto err;
2095     }
2096     if (!TEST_mem_eq(expected->output, expected->output_len, got, got_len)) {
2097         t->err = "SIGNATURE_MISMATCH";
2098         goto err;
2099     }
2100
2101  err:
2102     OPENSSL_free(got);
2103     return 1;
2104 }
2105
2106 static const EVP_TEST_METHOD digestsign_test_method = {
2107     "DigestSign",
2108     digestsign_test_init,
2109     digestsigver_test_cleanup,
2110     digestsigver_test_parse,
2111     digestsign_test_run
2112 };
2113
2114 static int digestverify_test_init(EVP_TEST *t, const char *alg)
2115 {
2116     return digestsigver_test_init(t, alg, 1, 0);
2117 }
2118
2119 static int digestverify_update_fn(void *ctx, const unsigned char *buf,
2120                                   size_t buflen)
2121 {
2122     return EVP_DigestVerifyUpdate(ctx, buf, buflen);
2123 }
2124
2125 static int digestverify_test_run(EVP_TEST *t)
2126 {
2127     DIGESTSIGN_DATA *mdata = t->data;
2128
2129     if (!evp_test_buffer_do(mdata->input, digestverify_update_fn, mdata->ctx)) {
2130         t->err = "DIGESTUPDATE_ERROR";
2131         return 1;
2132     }
2133
2134     if (EVP_DigestVerifyFinal(mdata->ctx, mdata->output,
2135                               mdata->output_len) <= 0)
2136         t->err = "VERIFY_ERROR";
2137     return 1;
2138 }
2139
2140 static const EVP_TEST_METHOD digestverify_test_method = {
2141     "DigestVerify",
2142     digestverify_test_init,
2143     digestsigver_test_cleanup,
2144     digestsigver_test_parse,
2145     digestverify_test_run
2146 };
2147
2148 static int oneshot_digestsign_test_init(EVP_TEST *t, const char *alg)
2149 {
2150     return digestsigver_test_init(t, alg, 0, 1);
2151 }
2152
2153 static int oneshot_digestsign_test_run(EVP_TEST *t)
2154 {
2155     DIGESTSIGN_DATA *expected = t->data;
2156     unsigned char *got = NULL;
2157     size_t got_len;
2158
2159     if (!EVP_DigestSign(expected->ctx, NULL, &got_len,
2160                         expected->osin, expected->osin_len)) {
2161         t->err = "DIGESTSIGN_LENGTH_ERROR";
2162         goto err;
2163     }
2164     if (!TEST_ptr(got = OPENSSL_malloc(got_len))) {
2165         t->err = "MALLOC_FAILURE";
2166         goto err;
2167     }
2168     if (!EVP_DigestSign(expected->ctx, got, &got_len,
2169                         expected->osin, expected->osin_len)) {
2170         t->err = "DIGESTSIGN_ERROR";
2171         goto err;
2172     }
2173     if (!TEST_mem_eq(expected->output, expected->output_len, got, got_len)) {
2174         t->err = "SIGNATURE_MISMATCH";
2175         goto err;
2176     }
2177
2178  err:
2179     OPENSSL_free(got);
2180     return 1;
2181 }
2182
2183 static const EVP_TEST_METHOD oneshot_digestsign_test_method = {
2184     "OneShotDigestSign",
2185     oneshot_digestsign_test_init,
2186     digestsigver_test_cleanup,
2187     digestsigver_test_parse,
2188     oneshot_digestsign_test_run
2189 };
2190
2191 static int oneshot_digestverify_test_init(EVP_TEST *t, const char *alg)
2192 {
2193     return digestsigver_test_init(t, alg, 1, 1);
2194 }
2195
2196 static int oneshot_digestverify_test_run(EVP_TEST *t)
2197 {
2198     DIGESTSIGN_DATA *mdata = t->data;
2199
2200     if (EVP_DigestVerify(mdata->ctx, mdata->output, mdata->output_len,
2201                          mdata->osin, mdata->osin_len) <= 0)
2202         t->err = "VERIFY_ERROR";
2203     return 1;
2204 }
2205
2206 static const EVP_TEST_METHOD oneshot_digestverify_test_method = {
2207     "OneShotDigestVerify",
2208     oneshot_digestverify_test_init,
2209     digestsigver_test_cleanup,
2210     digestsigver_test_parse,
2211     oneshot_digestverify_test_run
2212 };
2213
2214
2215 /**
2216 ***  PARSING AND DISPATCH
2217 **/
2218
2219 static const EVP_TEST_METHOD *evp_test_list[] = {
2220     &cipher_test_method,
2221     &digest_test_method,
2222     &digestsign_test_method,
2223     &digestverify_test_method,
2224     &encode_test_method,
2225     &kdf_test_method,
2226     &keypair_test_method,
2227     &keygen_test_method,
2228     &mac_test_method,
2229     &oneshot_digestsign_test_method,
2230     &oneshot_digestverify_test_method,
2231     &pbe_test_method,
2232     &pdecrypt_test_method,
2233     &pderive_test_method,
2234     &psign_test_method,
2235     &pverify_recover_test_method,
2236     &pverify_test_method,
2237     NULL
2238 };
2239
2240 static const EVP_TEST_METHOD *find_test(const char *name)
2241 {
2242     const EVP_TEST_METHOD **tt;
2243
2244     for (tt = evp_test_list; *tt; tt++) {
2245         if (strcmp(name, (*tt)->name) == 0)
2246             return *tt;
2247     }
2248     return NULL;
2249 }
2250
2251 static void clear_test(EVP_TEST *t)
2252 {
2253     test_clearstanza(&t->s);
2254     ERR_clear_error();
2255     if (t->data != NULL) {
2256         if (t->meth != NULL)
2257             t->meth->cleanup(t);
2258         OPENSSL_free(t->data);
2259         t->data = NULL;
2260     }
2261     OPENSSL_free(t->expected_err);
2262     t->expected_err = NULL;
2263     OPENSSL_free(t->func);
2264     t->func = NULL;
2265     OPENSSL_free(t->reason);
2266     t->reason = NULL;
2267
2268     /* Text literal. */
2269     t->err = NULL;
2270     t->skip = 0;
2271     t->meth = NULL;
2272 }
2273
2274 /*
2275  * Check for errors in the test structure; return 1 if okay, else 0.
2276  */
2277 static int check_test_error(EVP_TEST *t)
2278 {
2279     unsigned long err;
2280     const char *func;
2281     const char *reason;
2282
2283     if (t->err == NULL && t->expected_err == NULL)
2284         return 1;
2285     if (t->err != NULL && t->expected_err == NULL) {
2286         if (t->aux_err != NULL) {
2287             TEST_info("%s:%d: Source of above error (%s); unexpected error %s",
2288                       t->s.test_file, t->s.start, t->aux_err, t->err);
2289         } else {
2290             TEST_info("%s:%d: Source of above error; unexpected error %s",
2291                       t->s.test_file, t->s.start, t->err);
2292         }
2293         return 0;
2294     }
2295     if (t->err == NULL && t->expected_err != NULL) {
2296         TEST_info("%s:%d: Succeeded but was expecting %s",
2297                   t->s.test_file, t->s.start, t->expected_err);
2298         return 0;
2299     }
2300
2301     if (strcmp(t->err, t->expected_err) != 0) {
2302         TEST_info("%s:%d: Expected %s got %s",
2303                   t->s.test_file, t->s.start, t->expected_err, t->err);
2304         return 0;
2305     }
2306
2307     if (t->func == NULL && t->reason == NULL)
2308         return 1;
2309
2310     if (t->func == NULL || t->reason == NULL) {
2311         TEST_info("%s:%d: Test is missing function or reason code",
2312                   t->s.test_file, t->s.start);
2313         return 0;
2314     }
2315
2316     err = ERR_peek_error();
2317     if (err == 0) {
2318         TEST_info("%s:%d: Expected error \"%s:%s\" not set",
2319                   t->s.test_file, t->s.start, t->func, t->reason);
2320         return 0;
2321     }
2322
2323     func = ERR_func_error_string(err);
2324     reason = ERR_reason_error_string(err);
2325     if (func == NULL && reason == NULL) {
2326         TEST_info("%s:%d: Expected error \"%s:%s\", no strings available."
2327                   " Assuming ok.",
2328                   t->s.test_file, t->s.start, t->func, t->reason);
2329         return 1;
2330     }
2331
2332     if (strcmp(func, t->func) == 0 && strcmp(reason, t->reason) == 0)
2333         return 1;
2334
2335     TEST_info("%s:%d: Expected error \"%s:%s\", got \"%s:%s\"",
2336               t->s.test_file, t->s.start, t->func, t->reason, func, reason);
2337
2338     return 0;
2339 }
2340
2341 /*
2342  * Run a parsed test. Log a message and return 0 on error.
2343  */
2344 static int run_test(EVP_TEST *t)
2345 {
2346     if (t->meth == NULL)
2347         return 1;
2348     t->s.numtests++;
2349     if (t->skip) {
2350         t->s.numskip++;
2351     } else {
2352         /* run the test */
2353         if (t->err == NULL && t->meth->run_test(t) != 1) {
2354             TEST_info("%s:%d %s error",
2355                       t->s.test_file, t->s.start, t->meth->name);
2356             return 0;
2357         }
2358         if (!check_test_error(t)) {
2359             TEST_openssl_errors();
2360             t->s.errors++;
2361         }
2362     }
2363
2364     /* clean it up */
2365     return 1;
2366 }
2367
2368 static int find_key(EVP_PKEY **ppk, const char *name, KEY_LIST *lst)
2369 {
2370     for (; lst != NULL; lst = lst->next) {
2371         if (strcmp(lst->name, name) == 0) {
2372             if (ppk != NULL)
2373                 *ppk = lst->key;
2374             return 1;
2375         }
2376     }
2377     return 0;
2378 }
2379
2380 static void free_key_list(KEY_LIST *lst)
2381 {
2382     while (lst != NULL) {
2383         KEY_LIST *next = lst->next;
2384
2385         EVP_PKEY_free(lst->key);
2386         OPENSSL_free(lst->name);
2387         OPENSSL_free(lst);
2388         lst = next;
2389     }
2390 }
2391
2392 /*
2393  * Is the key type an unsupported algorithm?
2394  */
2395 static int key_unsupported()
2396 {
2397     long err = ERR_peek_error();
2398
2399     if (ERR_GET_LIB(err) == ERR_LIB_EVP
2400             && ERR_GET_REASON(err) == EVP_R_UNSUPPORTED_ALGORITHM) {
2401         ERR_clear_error();
2402         return 1;
2403     }
2404 #ifndef OPENSSL_NO_EC
2405     /*
2406      * If EC support is enabled we should catch also EC_R_UNKNOWN_GROUP as an
2407      * hint to an unsupported algorithm/curve (e.g. if binary EC support is
2408      * disabled).
2409      */
2410     if (ERR_GET_LIB(err) == ERR_LIB_EC
2411         && ERR_GET_REASON(err) == EC_R_UNKNOWN_GROUP) {
2412         ERR_clear_error();
2413         return 1;
2414     }
2415 #endif /* OPENSSL_NO_EC */
2416     return 0;
2417 }
2418
2419 /*
2420  * NULL out the value from |pp| but return it.  This "steals" a pointer.
2421  */
2422 static char *take_value(PAIR *pp)
2423 {
2424     char *p = pp->value;
2425
2426     pp->value = NULL;
2427     return p;
2428 }
2429
2430 /*
2431  * Read and parse one test.  Return 0 if failure, 1 if okay.
2432  */
2433 static int parse(EVP_TEST *t)
2434 {
2435     KEY_LIST *key, **klist;
2436     EVP_PKEY *pkey;
2437     PAIR *pp;
2438     int i;
2439
2440 top:
2441     do {
2442         if (BIO_eof(t->s.fp))
2443             return EOF;
2444         clear_test(t);
2445         if (!test_readstanza(&t->s))
2446             return 0;
2447     } while (t->s.numpairs == 0);
2448     pp = &t->s.pairs[0];
2449
2450     /* Are we adding a key? */
2451     klist = NULL;
2452     pkey = NULL;
2453     if (strcmp(pp->key, "PrivateKey") == 0) {
2454         pkey = PEM_read_bio_PrivateKey(t->s.key, NULL, 0, NULL);
2455         if (pkey == NULL && !key_unsupported()) {
2456             TEST_info("Can't read private key %s", pp->value);
2457             TEST_openssl_errors();
2458             return 0;
2459         }
2460         klist = &private_keys;
2461     }
2462     else if (strcmp(pp->key, "PublicKey") == 0) {
2463         pkey = PEM_read_bio_PUBKEY(t->s.key, NULL, 0, NULL);
2464         if (pkey == NULL && !key_unsupported()) {
2465             TEST_info("Can't read public key %s", pp->value);
2466             TEST_openssl_errors();
2467             return 0;
2468         }
2469         klist = &public_keys;
2470     }
2471
2472     /* If we have a key add to list */
2473     if (klist != NULL) {
2474         if (find_key(NULL, pp->value, *klist)) {
2475             TEST_info("Duplicate key %s", pp->value);
2476             return 0;
2477         }
2478         if (!TEST_ptr(key = OPENSSL_malloc(sizeof(*key))))
2479             return 0;
2480         key->name = take_value(pp);
2481         key->key = pkey;
2482         key->next = *klist;
2483         *klist = key;
2484
2485         /* Go back and start a new stanza. */
2486         if (t->s.numpairs != 1)
2487             TEST_info("Line %d: missing blank line\n", t->s.curr);
2488         goto top;
2489     }
2490
2491     /* Find the test, based on first keyword. */
2492     if (!TEST_ptr(t->meth = find_test(pp->key)))
2493         return 0;
2494     if (!t->meth->init(t, pp->value)) {
2495         TEST_error("unknown %s: %s\n", pp->key, pp->value);
2496         return 0;
2497     }
2498     if (t->skip == 1) {
2499         /* TEST_info("skipping %s %s", pp->key, pp->value); */
2500         return 0;
2501     }
2502
2503     for (pp++, i = 1; i < t->s.numpairs; pp++, i++) {
2504         if (strcmp(pp->key, "Result") == 0) {
2505             if (t->expected_err != NULL) {
2506                 TEST_info("Line %d: multiple result lines", t->s.curr);
2507                 return 0;
2508             }
2509             t->expected_err = take_value(pp);
2510         } else if (strcmp(pp->key, "Function") == 0) {
2511             if (t->func != NULL) {
2512                 TEST_info("Line %d: multiple function lines\n", t->s.curr);
2513                 return 0;
2514             }
2515             t->func = take_value(pp);
2516         } else if (strcmp(pp->key, "Reason") == 0) {
2517             if (t->reason != NULL) {
2518                 TEST_info("Line %d: multiple reason lines", t->s.curr);
2519                 return 0;
2520             }
2521             t->reason = take_value(pp);
2522         } else {
2523             /* Must be test specific line: try to parse it */
2524             int rv = t->meth->parse(t, pp->key, pp->value);
2525
2526             if (rv == 0) {
2527                 TEST_info("Line %d: unknown keyword %s", t->s.curr, pp->key);
2528                 return 0;
2529             }
2530             if (rv < 0) {
2531                 TEST_info("Line %d: error processing keyword %s\n",
2532                         t->s.curr, pp->key);
2533                 return 0;
2534             }
2535         }
2536     }
2537
2538     return 1;
2539 }
2540
2541 static int run_file_tests(int i)
2542 {
2543     EVP_TEST *t;
2544     const char *testfile = test_get_argument(i);
2545     int c;
2546
2547     if (!TEST_ptr(t = OPENSSL_zalloc(sizeof(*t))))
2548         return 0;
2549     if (!test_start_file(&t->s, testfile)) {
2550         OPENSSL_free(t);
2551         return 0;
2552     }
2553
2554     while (!BIO_eof(t->s.fp)) {
2555         c = parse(t);
2556         if (t->skip)
2557             continue;
2558         if (c == 0 || !run_test(t)) {
2559             t->s.errors++;
2560             break;
2561         }
2562     }
2563     test_end_file(&t->s);
2564     clear_test(t);
2565
2566     free_key_list(public_keys);
2567     free_key_list(private_keys);
2568     BIO_free(t->s.key);
2569     c = t->s.errors;
2570     OPENSSL_free(t);
2571     return c == 0;
2572 }
2573
2574 int setup_tests(void)
2575 {
2576     size_t n = test_get_argument_count();
2577
2578     if (n == 0) {
2579         TEST_error("Usage: %s file...", test_get_program_name());
2580         return 0;
2581     }
2582
2583     ADD_ALL_TESTS(run_file_tests, n);
2584     return 1;
2585 }