Make the DSA structure opaque
[openssl.git] / crypto / pem / pvkfmt.c
1 /*
2  * Written by Dr Stephen N Henson (steve@openssl.org) for the OpenSSL project
3  * 2005.
4  */
5 /* ====================================================================
6  * Copyright (c) 2005 The OpenSSL Project.  All rights reserved.
7  *
8  * Redistribution and use in source and binary forms, with or without
9  * modification, are permitted provided that the following conditions
10  * are met:
11  *
12  * 1. Redistributions of source code must retain the above copyright
13  *    notice, this list of conditions and the following disclaimer.
14  *
15  * 2. Redistributions in binary form must reproduce the above copyright
16  *    notice, this list of conditions and the following disclaimer in
17  *    the documentation and/or other materials provided with the
18  *    distribution.
19  *
20  * 3. All advertising materials mentioning features or use of this
21  *    software must display the following acknowledgment:
22  *    "This product includes software developed by the OpenSSL Project
23  *    for use in the OpenSSL Toolkit. (http://www.OpenSSL.org/)"
24  *
25  * 4. The names "OpenSSL Toolkit" and "OpenSSL Project" must not be used to
26  *    endorse or promote products derived from this software without
27  *    prior written permission. For written permission, please contact
28  *    licensing@OpenSSL.org.
29  *
30  * 5. Products derived from this software may not be called "OpenSSL"
31  *    nor may "OpenSSL" appear in their names without prior written
32  *    permission of the OpenSSL Project.
33  *
34  * 6. Redistributions of any form whatsoever must retain the following
35  *    acknowledgment:
36  *    "This product includes software developed by the OpenSSL Project
37  *    for use in the OpenSSL Toolkit (http://www.OpenSSL.org/)"
38  *
39  * THIS SOFTWARE IS PROVIDED BY THE OpenSSL PROJECT ``AS IS'' AND ANY
40  * EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
41  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
42  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE OpenSSL PROJECT OR
43  * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
44  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
45  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
46  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
47  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
48  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
49  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
50  * OF THE POSSIBILITY OF SUCH DAMAGE.
51  * ====================================================================
52  *
53  * This product includes cryptographic software written by Eric Young
54  * (eay@cryptsoft.com).  This product includes software written by Tim
55  * Hudson (tjh@cryptsoft.com).
56  *
57  */
58
59 /*
60  * Support for PVK format keys and related structures (such a PUBLICKEYBLOB
61  * and PRIVATEKEYBLOB).
62  */
63
64 #include "internal/cryptlib.h"
65 #include <openssl/pem.h>
66 #include <openssl/rand.h>
67 #include <openssl/bn.h>
68 #if !defined(OPENSSL_NO_RSA) && !defined(OPENSSL_NO_DSA)
69 # include <openssl/dsa.h>
70 # include <openssl/rsa.h>
71
72 /*
73  * Utility function: read a DWORD (4 byte unsigned integer) in little endian
74  * format
75  */
76
77 static unsigned int read_ledword(const unsigned char **in)
78 {
79     const unsigned char *p = *in;
80     unsigned int ret;
81     ret = *p++;
82     ret |= (*p++ << 8);
83     ret |= (*p++ << 16);
84     ret |= (*p++ << 24);
85     *in = p;
86     return ret;
87 }
88
89 /*
90  * Read a BIGNUM in little endian format. The docs say that this should take
91  * up bitlen/8 bytes.
92  */
93
94 static int read_lebn(const unsigned char **in, unsigned int nbyte, BIGNUM **r)
95 {
96     *r = BN_lebin2bn(*in, nbyte, NULL);
97     if (*r == NULL)
98         return 0;
99     *in += nbyte;
100     return 1;
101 }
102
103 /* Convert private key blob to EVP_PKEY: RSA and DSA keys supported */
104
105 # define MS_PUBLICKEYBLOB        0x6
106 # define MS_PRIVATEKEYBLOB       0x7
107 # define MS_RSA1MAGIC            0x31415352L
108 # define MS_RSA2MAGIC            0x32415352L
109 # define MS_DSS1MAGIC            0x31535344L
110 # define MS_DSS2MAGIC            0x32535344L
111
112 # define MS_KEYALG_RSA_KEYX      0xa400
113 # define MS_KEYALG_DSS_SIGN      0x2200
114
115 # define MS_KEYTYPE_KEYX         0x1
116 # define MS_KEYTYPE_SIGN         0x2
117
118 /* The PVK file magic number: seems to spell out "bobsfile", who is Bob? */
119 # define MS_PVKMAGIC             0xb0b5f11eL
120 /* Salt length for PVK files */
121 # define PVK_SALTLEN             0x10
122 /* Maximum length in PVK header */
123 # define PVK_MAX_KEYLEN          102400
124 /* Maximum salt length */
125 # define PVK_MAX_SALTLEN         10240
126
127 static EVP_PKEY *b2i_rsa(const unsigned char **in,
128                          unsigned int bitlen, int ispub);
129 static EVP_PKEY *b2i_dss(const unsigned char **in,
130                          unsigned int bitlen, int ispub);
131
132 static int do_blob_header(const unsigned char **in, unsigned int length,
133                           unsigned int *pmagic, unsigned int *pbitlen,
134                           int *pisdss, int *pispub)
135 {
136     const unsigned char *p = *in;
137     if (length < 16)
138         return 0;
139     /* bType */
140     if (*p == MS_PUBLICKEYBLOB) {
141         if (*pispub == 0) {
142             PEMerr(PEM_F_DO_BLOB_HEADER, PEM_R_EXPECTING_PRIVATE_KEY_BLOB);
143             return 0;
144         }
145         *pispub = 1;
146     } else if (*p == MS_PRIVATEKEYBLOB) {
147         if (*pispub == 1) {
148             PEMerr(PEM_F_DO_BLOB_HEADER, PEM_R_EXPECTING_PUBLIC_KEY_BLOB);
149             return 0;
150         }
151         *pispub = 0;
152     } else
153         return 0;
154     p++;
155     /* Version */
156     if (*p++ != 0x2) {
157         PEMerr(PEM_F_DO_BLOB_HEADER, PEM_R_BAD_VERSION_NUMBER);
158         return 0;
159     }
160     /* Ignore reserved, aiKeyAlg */
161     p += 6;
162     *pmagic = read_ledword(&p);
163     *pbitlen = read_ledword(&p);
164     *pisdss = 0;
165     switch (*pmagic) {
166
167     case MS_DSS1MAGIC:
168         *pisdss = 1;
169     case MS_RSA1MAGIC:
170         if (*pispub == 0) {
171             PEMerr(PEM_F_DO_BLOB_HEADER, PEM_R_EXPECTING_PRIVATE_KEY_BLOB);
172             return 0;
173         }
174         break;
175
176     case MS_DSS2MAGIC:
177         *pisdss = 1;
178     case MS_RSA2MAGIC:
179         if (*pispub == 1) {
180             PEMerr(PEM_F_DO_BLOB_HEADER, PEM_R_EXPECTING_PUBLIC_KEY_BLOB);
181             return 0;
182         }
183         break;
184
185     default:
186         PEMerr(PEM_F_DO_BLOB_HEADER, PEM_R_BAD_MAGIC_NUMBER);
187         return -1;
188     }
189     *in = p;
190     return 1;
191 }
192
193 static unsigned int blob_length(unsigned bitlen, int isdss, int ispub)
194 {
195     unsigned int nbyte, hnbyte;
196     nbyte = (bitlen + 7) >> 3;
197     hnbyte = (bitlen + 15) >> 4;
198     if (isdss) {
199
200         /*
201          * Expected length: 20 for q + 3 components bitlen each + 24 for seed
202          * structure.
203          */
204         if (ispub)
205             return 44 + 3 * nbyte;
206         /*
207          * Expected length: 20 for q, priv, 2 bitlen components + 24 for seed
208          * structure.
209          */
210         else
211             return 64 + 2 * nbyte;
212     } else {
213         /* Expected length: 4 for 'e' + 'n' */
214         if (ispub)
215             return 4 + nbyte;
216         else
217             /*
218              * Expected length: 4 for 'e' and 7 other components. 2
219              * components are bitlen size, 5 are bitlen/2
220              */
221             return 4 + 2 * nbyte + 5 * hnbyte;
222     }
223
224 }
225
226 static EVP_PKEY *do_b2i(const unsigned char **in, unsigned int length,
227                         int ispub)
228 {
229     const unsigned char *p = *in;
230     unsigned int bitlen, magic;
231     int isdss;
232     if (do_blob_header(&p, length, &magic, &bitlen, &isdss, &ispub) <= 0) {
233         PEMerr(PEM_F_DO_B2I, PEM_R_KEYBLOB_HEADER_PARSE_ERROR);
234         return NULL;
235     }
236     length -= 16;
237     if (length < blob_length(bitlen, isdss, ispub)) {
238         PEMerr(PEM_F_DO_B2I, PEM_R_KEYBLOB_TOO_SHORT);
239         return NULL;
240     }
241     if (isdss)
242         return b2i_dss(&p, bitlen, ispub);
243     else
244         return b2i_rsa(&p, bitlen, ispub);
245 }
246
247 static EVP_PKEY *do_b2i_bio(BIO *in, int ispub)
248 {
249     const unsigned char *p;
250     unsigned char hdr_buf[16], *buf = NULL;
251     unsigned int bitlen, magic, length;
252     int isdss;
253     EVP_PKEY *ret = NULL;
254     if (BIO_read(in, hdr_buf, 16) != 16) {
255         PEMerr(PEM_F_DO_B2I_BIO, PEM_R_KEYBLOB_TOO_SHORT);
256         return NULL;
257     }
258     p = hdr_buf;
259     if (do_blob_header(&p, 16, &magic, &bitlen, &isdss, &ispub) <= 0)
260         return NULL;
261
262     length = blob_length(bitlen, isdss, ispub);
263     buf = OPENSSL_malloc(length);
264     if (buf == NULL) {
265         PEMerr(PEM_F_DO_B2I_BIO, ERR_R_MALLOC_FAILURE);
266         goto err;
267     }
268     p = buf;
269     if (BIO_read(in, buf, length) != (int)length) {
270         PEMerr(PEM_F_DO_B2I_BIO, PEM_R_KEYBLOB_TOO_SHORT);
271         goto err;
272     }
273
274     if (isdss)
275         ret = b2i_dss(&p, bitlen, ispub);
276     else
277         ret = b2i_rsa(&p, bitlen, ispub);
278
279  err:
280     OPENSSL_free(buf);
281     return ret;
282 }
283
284 static EVP_PKEY *b2i_dss(const unsigned char **in,
285                          unsigned int bitlen, int ispub)
286 {
287     const unsigned char *p = *in;
288     EVP_PKEY *ret = NULL;
289     DSA *dsa = NULL;
290     BN_CTX *ctx = NULL;
291     unsigned int nbyte;
292     BIGNUM *pbn = NULL, *qbn = NULL, *gbn = NULL, *priv_key = NULL;
293     BIGNUM *pub_key = NULL;
294
295     nbyte = (bitlen + 7) >> 3;
296
297     dsa = DSA_new();
298     ret = EVP_PKEY_new();
299     if (dsa == NULL || ret == NULL)
300         goto memerr;
301     if (!read_lebn(&p, nbyte, &pbn))
302         goto memerr;
303
304     if (!read_lebn(&p, 20, &qbn))
305         goto memerr;
306
307     if (!read_lebn(&p, nbyte, &gbn))
308         goto memerr;
309
310     if (ispub) {
311         if (!read_lebn(&p, nbyte, &pub_key))
312             goto memerr;
313     } else {
314         if (!read_lebn(&p, 20, &priv_key))
315             goto memerr;
316
317         /* Calculate public key */
318         pub_key = BN_new();
319         if (pub_key == NULL)
320             goto memerr;
321         if ((ctx = BN_CTX_new()) == NULL)
322             goto memerr;
323
324         if (!BN_mod_exp(pub_key, gbn, priv_key, pbn, ctx))
325             goto memerr;
326
327         BN_CTX_free(ctx);
328     }
329     if (!DSA_set0_pqg(dsa, pbn, qbn, gbn))
330         goto memerr;
331     pbn = qbn = gbn = NULL;
332     if (!DSA_set0_key(dsa, pub_key, priv_key))
333         goto memerr;
334
335     EVP_PKEY_set1_DSA(ret, dsa);
336     DSA_free(dsa);
337     *in = p;
338     return ret;
339
340  memerr:
341     PEMerr(PEM_F_B2I_DSS, ERR_R_MALLOC_FAILURE);
342     DSA_free(dsa);
343     BN_free(pbn);
344     BN_free(qbn);
345     BN_free(gbn);
346     BN_free(pub_key);
347     BN_free(priv_key);
348     EVP_PKEY_free(ret);
349     BN_CTX_free(ctx);
350     return NULL;
351 }
352
353 static EVP_PKEY *b2i_rsa(const unsigned char **in,
354                          unsigned int bitlen, int ispub)
355 {
356     const unsigned char *p = *in;
357     EVP_PKEY *ret = NULL;
358     RSA *rsa = NULL;
359     unsigned int nbyte, hnbyte;
360     nbyte = (bitlen + 7) >> 3;
361     hnbyte = (bitlen + 15) >> 4;
362     rsa = RSA_new();
363     ret = EVP_PKEY_new();
364     if (rsa == NULL || ret == NULL)
365         goto memerr;
366     rsa->e = BN_new();
367     if (rsa->e == NULL)
368         goto memerr;
369     if (!BN_set_word(rsa->e, read_ledword(&p)))
370         goto memerr;
371     if (!read_lebn(&p, nbyte, &rsa->n))
372         goto memerr;
373     if (!ispub) {
374         if (!read_lebn(&p, hnbyte, &rsa->p))
375             goto memerr;
376         if (!read_lebn(&p, hnbyte, &rsa->q))
377             goto memerr;
378         if (!read_lebn(&p, hnbyte, &rsa->dmp1))
379             goto memerr;
380         if (!read_lebn(&p, hnbyte, &rsa->dmq1))
381             goto memerr;
382         if (!read_lebn(&p, hnbyte, &rsa->iqmp))
383             goto memerr;
384         if (!read_lebn(&p, nbyte, &rsa->d))
385             goto memerr;
386     }
387
388     EVP_PKEY_set1_RSA(ret, rsa);
389     RSA_free(rsa);
390     *in = p;
391     return ret;
392  memerr:
393     PEMerr(PEM_F_B2I_RSA, ERR_R_MALLOC_FAILURE);
394     RSA_free(rsa);
395     EVP_PKEY_free(ret);
396     return NULL;
397 }
398
399 EVP_PKEY *b2i_PrivateKey(const unsigned char **in, long length)
400 {
401     return do_b2i(in, length, 0);
402 }
403
404 EVP_PKEY *b2i_PublicKey(const unsigned char **in, long length)
405 {
406     return do_b2i(in, length, 1);
407 }
408
409 EVP_PKEY *b2i_PrivateKey_bio(BIO *in)
410 {
411     return do_b2i_bio(in, 0);
412 }
413
414 EVP_PKEY *b2i_PublicKey_bio(BIO *in)
415 {
416     return do_b2i_bio(in, 1);
417 }
418
419 static void write_ledword(unsigned char **out, unsigned int dw)
420 {
421     unsigned char *p = *out;
422     *p++ = dw & 0xff;
423     *p++ = (dw >> 8) & 0xff;
424     *p++ = (dw >> 16) & 0xff;
425     *p++ = (dw >> 24) & 0xff;
426     *out = p;
427 }
428
429 static void write_lebn(unsigned char **out, const BIGNUM *bn, int len)
430 {
431     BN_bn2lebinpad(bn, *out, len);
432     *out += len;
433 }
434
435 static int check_bitlen_rsa(RSA *rsa, int ispub, unsigned int *magic);
436 static int check_bitlen_dsa(DSA *dsa, int ispub, unsigned int *magic);
437
438 static void write_rsa(unsigned char **out, RSA *rsa, int ispub);
439 static void write_dsa(unsigned char **out, DSA *dsa, int ispub);
440
441 static int do_i2b(unsigned char **out, EVP_PKEY *pk, int ispub)
442 {
443     unsigned char *p;
444     unsigned int bitlen, magic = 0, keyalg;
445     int outlen, noinc = 0;
446     int pktype = EVP_PKEY_id(pk);
447     if (pktype == EVP_PKEY_DSA) {
448         bitlen = check_bitlen_dsa(EVP_PKEY_get0_DSA(pk), ispub, &magic);
449         keyalg = MS_KEYALG_DSS_SIGN;
450     } else if (pktype == EVP_PKEY_RSA) {
451         bitlen = check_bitlen_rsa(EVP_PKEY_get0_RSA(pk), ispub, &magic);
452         keyalg = MS_KEYALG_RSA_KEYX;
453     } else
454         return -1;
455     if (bitlen == 0)
456         return -1;
457     outlen = 16 + blob_length(bitlen,
458                               keyalg == MS_KEYALG_DSS_SIGN ? 1 : 0, ispub);
459     if (out == NULL)
460         return outlen;
461     if (*out)
462         p = *out;
463     else {
464         p = OPENSSL_malloc(outlen);
465         if (p == NULL)
466             return -1;
467         *out = p;
468         noinc = 1;
469     }
470     if (ispub)
471         *p++ = MS_PUBLICKEYBLOB;
472     else
473         *p++ = MS_PRIVATEKEYBLOB;
474     *p++ = 0x2;
475     *p++ = 0;
476     *p++ = 0;
477     write_ledword(&p, keyalg);
478     write_ledword(&p, magic);
479     write_ledword(&p, bitlen);
480     if (keyalg == MS_KEYALG_DSS_SIGN)
481         write_dsa(&p, EVP_PKEY_get0_DSA(pk), ispub);
482     else
483         write_rsa(&p, EVP_PKEY_get0_RSA(pk), ispub);
484     if (!noinc)
485         *out += outlen;
486     return outlen;
487 }
488
489 static int do_i2b_bio(BIO *out, EVP_PKEY *pk, int ispub)
490 {
491     unsigned char *tmp = NULL;
492     int outlen, wrlen;
493     outlen = do_i2b(&tmp, pk, ispub);
494     if (outlen < 0)
495         return -1;
496     wrlen = BIO_write(out, tmp, outlen);
497     OPENSSL_free(tmp);
498     if (wrlen == outlen)
499         return outlen;
500     return -1;
501 }
502
503 static int check_bitlen_dsa(DSA *dsa, int ispub, unsigned int *pmagic)
504 {
505     int bitlen;
506     bitlen = BN_num_bits(DSA_get0_p(dsa));
507     if ((bitlen & 7) || (BN_num_bits(DSA_get0_q(dsa)) != 160)
508         || (BN_num_bits(DSA_get0_g(dsa)) > bitlen))
509         goto badkey;
510     if (ispub) {
511         if (BN_num_bits(DSA_get0_pub_key(dsa)) > bitlen)
512             goto badkey;
513         *pmagic = MS_DSS1MAGIC;
514     } else {
515         if (BN_num_bits(DSA_get0_priv_key(dsa)) > 160)
516             goto badkey;
517         *pmagic = MS_DSS2MAGIC;
518     }
519
520     return bitlen;
521  badkey:
522     PEMerr(PEM_F_CHECK_BITLEN_DSA, PEM_R_UNSUPPORTED_KEY_COMPONENTS);
523     return 0;
524 }
525
526 static int check_bitlen_rsa(RSA *rsa, int ispub, unsigned int *pmagic)
527 {
528     int nbyte, hnbyte, bitlen;
529     if (BN_num_bits(rsa->e) > 32)
530         goto badkey;
531     bitlen = BN_num_bits(rsa->n);
532     nbyte = BN_num_bytes(rsa->n);
533     hnbyte = (BN_num_bits(rsa->n) + 15) >> 4;
534     if (ispub) {
535         *pmagic = MS_RSA1MAGIC;
536         return bitlen;
537     } else {
538         *pmagic = MS_RSA2MAGIC;
539         /*
540          * For private key each component must fit within nbyte or hnbyte.
541          */
542         if (BN_num_bytes(rsa->d) > nbyte)
543             goto badkey;
544         if ((BN_num_bytes(rsa->iqmp) > hnbyte)
545             || (BN_num_bytes(rsa->p) > hnbyte)
546             || (BN_num_bytes(rsa->q) > hnbyte)
547             || (BN_num_bytes(rsa->dmp1) > hnbyte)
548             || (BN_num_bytes(rsa->dmq1) > hnbyte))
549             goto badkey;
550     }
551     return bitlen;
552  badkey:
553     PEMerr(PEM_F_CHECK_BITLEN_RSA, PEM_R_UNSUPPORTED_KEY_COMPONENTS);
554     return 0;
555 }
556
557 static void write_rsa(unsigned char **out, RSA *rsa, int ispub)
558 {
559     int nbyte, hnbyte;
560     nbyte = BN_num_bytes(rsa->n);
561     hnbyte = (BN_num_bits(rsa->n) + 15) >> 4;
562     write_lebn(out, rsa->e, 4);
563     write_lebn(out, rsa->n, -1);
564     if (ispub)
565         return;
566     write_lebn(out, rsa->p, hnbyte);
567     write_lebn(out, rsa->q, hnbyte);
568     write_lebn(out, rsa->dmp1, hnbyte);
569     write_lebn(out, rsa->dmq1, hnbyte);
570     write_lebn(out, rsa->iqmp, hnbyte);
571     write_lebn(out, rsa->d, nbyte);
572 }
573
574 static void write_dsa(unsigned char **out, DSA *dsa, int ispub)
575 {
576     int nbyte;
577     nbyte = BN_num_bytes(DSA_get0_p(dsa));
578     write_lebn(out, DSA_get0_p(dsa), nbyte);
579     write_lebn(out, DSA_get0_q(dsa), 20);
580     write_lebn(out, DSA_get0_g(dsa), nbyte);
581     if (ispub)
582         write_lebn(out, DSA_get0_pub_key(dsa), nbyte);
583     else
584         write_lebn(out, DSA_get0_priv_key(dsa), 20);
585     /* Set "invalid" for seed structure values */
586     memset(*out, 0xff, 24);
587     *out += 24;
588     return;
589 }
590
591 int i2b_PrivateKey_bio(BIO *out, EVP_PKEY *pk)
592 {
593     return do_i2b_bio(out, pk, 0);
594 }
595
596 int i2b_PublicKey_bio(BIO *out, EVP_PKEY *pk)
597 {
598     return do_i2b_bio(out, pk, 1);
599 }
600
601 # ifndef OPENSSL_NO_RC4
602
603 static int do_PVK_header(const unsigned char **in, unsigned int length,
604                          int skip_magic,
605                          unsigned int *psaltlen, unsigned int *pkeylen)
606 {
607     const unsigned char *p = *in;
608     unsigned int pvk_magic, is_encrypted;
609     if (skip_magic) {
610         if (length < 20) {
611             PEMerr(PEM_F_DO_PVK_HEADER, PEM_R_PVK_TOO_SHORT);
612             return 0;
613         }
614     } else {
615         if (length < 24) {
616             PEMerr(PEM_F_DO_PVK_HEADER, PEM_R_PVK_TOO_SHORT);
617             return 0;
618         }
619         pvk_magic = read_ledword(&p);
620         if (pvk_magic != MS_PVKMAGIC) {
621             PEMerr(PEM_F_DO_PVK_HEADER, PEM_R_BAD_MAGIC_NUMBER);
622             return 0;
623         }
624     }
625     /* Skip reserved */
626     p += 4;
627     /*
628      * keytype =
629      */ read_ledword(&p);
630     is_encrypted = read_ledword(&p);
631     *psaltlen = read_ledword(&p);
632     *pkeylen = read_ledword(&p);
633
634     if (*pkeylen > PVK_MAX_KEYLEN || *psaltlen > PVK_MAX_SALTLEN)
635         return 0;
636
637     if (is_encrypted && !*psaltlen) {
638         PEMerr(PEM_F_DO_PVK_HEADER, PEM_R_INCONSISTENT_HEADER);
639         return 0;
640     }
641
642     *in = p;
643     return 1;
644 }
645
646 static int derive_pvk_key(unsigned char *key,
647                           const unsigned char *salt, unsigned int saltlen,
648                           const unsigned char *pass, int passlen)
649 {
650     EVP_MD_CTX *mctx = EVP_MD_CTX_new();
651     int rv = 1;
652     if (mctx == NULL
653         || !EVP_DigestInit_ex(mctx, EVP_sha1(), NULL)
654         || !EVP_DigestUpdate(mctx, salt, saltlen)
655         || !EVP_DigestUpdate(mctx, pass, passlen)
656         || !EVP_DigestFinal_ex(mctx, key, NULL))
657         rv = 0;
658
659     EVP_MD_CTX_free(mctx);
660     return rv;
661 }
662
663 static EVP_PKEY *do_PVK_body(const unsigned char **in,
664                              unsigned int saltlen, unsigned int keylen,
665                              pem_password_cb *cb, void *u)
666 {
667     EVP_PKEY *ret = NULL;
668     const unsigned char *p = *in;
669     unsigned int magic;
670     unsigned char *enctmp = NULL, *q;
671
672     EVP_CIPHER_CTX *cctx = EVP_CIPHER_CTX_new();
673     if (saltlen) {
674         char psbuf[PEM_BUFSIZE];
675         unsigned char keybuf[20];
676         int enctmplen, inlen;
677         if (cb)
678             inlen = cb(psbuf, PEM_BUFSIZE, 0, u);
679         else
680             inlen = PEM_def_callback(psbuf, PEM_BUFSIZE, 0, u);
681         if (inlen <= 0) {
682             PEMerr(PEM_F_DO_PVK_BODY, PEM_R_BAD_PASSWORD_READ);
683             goto err;
684         }
685         enctmp = OPENSSL_malloc(keylen + 8);
686         if (enctmp == NULL) {
687             PEMerr(PEM_F_DO_PVK_BODY, ERR_R_MALLOC_FAILURE);
688             goto err;
689         }
690         if (!derive_pvk_key(keybuf, p, saltlen,
691                             (unsigned char *)psbuf, inlen))
692             goto err;
693         p += saltlen;
694         /* Copy BLOBHEADER across, decrypt rest */
695         memcpy(enctmp, p, 8);
696         p += 8;
697         if (keylen < 8) {
698             PEMerr(PEM_F_DO_PVK_BODY, PEM_R_PVK_TOO_SHORT);
699             goto err;
700         }
701         inlen = keylen - 8;
702         q = enctmp + 8;
703         if (!EVP_DecryptInit_ex(cctx, EVP_rc4(), NULL, keybuf, NULL))
704             goto err;
705         if (!EVP_DecryptUpdate(cctx, q, &enctmplen, p, inlen))
706             goto err;
707         if (!EVP_DecryptFinal_ex(cctx, q + enctmplen, &enctmplen))
708             goto err;
709         magic = read_ledword((const unsigned char **)&q);
710         if (magic != MS_RSA2MAGIC && magic != MS_DSS2MAGIC) {
711             q = enctmp + 8;
712             memset(keybuf + 5, 0, 11);
713             if (!EVP_DecryptInit_ex(cctx, EVP_rc4(), NULL, keybuf, NULL))
714                 goto err;
715             OPENSSL_cleanse(keybuf, 20);
716             if (!EVP_DecryptUpdate(cctx, q, &enctmplen, p, inlen))
717                 goto err;
718             if (!EVP_DecryptFinal_ex(cctx, q + enctmplen, &enctmplen))
719                 goto err;
720             magic = read_ledword((const unsigned char **)&q);
721             if (magic != MS_RSA2MAGIC && magic != MS_DSS2MAGIC) {
722                 PEMerr(PEM_F_DO_PVK_BODY, PEM_R_BAD_DECRYPT);
723                 goto err;
724             }
725         } else
726             OPENSSL_cleanse(keybuf, 20);
727         p = enctmp;
728     }
729
730     ret = b2i_PrivateKey(&p, keylen);
731  err:
732     EVP_CIPHER_CTX_free(cctx);
733     OPENSSL_free(enctmp);
734     return ret;
735 }
736
737 EVP_PKEY *b2i_PVK_bio(BIO *in, pem_password_cb *cb, void *u)
738 {
739     unsigned char pvk_hdr[24], *buf = NULL;
740     const unsigned char *p;
741     int buflen;
742     EVP_PKEY *ret = NULL;
743     unsigned int saltlen, keylen;
744     if (BIO_read(in, pvk_hdr, 24) != 24) {
745         PEMerr(PEM_F_B2I_PVK_BIO, PEM_R_PVK_DATA_TOO_SHORT);
746         return NULL;
747     }
748     p = pvk_hdr;
749
750     if (!do_PVK_header(&p, 24, 0, &saltlen, &keylen))
751         return 0;
752     buflen = (int)keylen + saltlen;
753     buf = OPENSSL_malloc(buflen);
754     if (buf == NULL) {
755         PEMerr(PEM_F_B2I_PVK_BIO, ERR_R_MALLOC_FAILURE);
756         return 0;
757     }
758     p = buf;
759     if (BIO_read(in, buf, buflen) != buflen) {
760         PEMerr(PEM_F_B2I_PVK_BIO, PEM_R_PVK_DATA_TOO_SHORT);
761         goto err;
762     }
763     ret = do_PVK_body(&p, saltlen, keylen, cb, u);
764
765  err:
766     OPENSSL_clear_free(buf, buflen);
767     return ret;
768 }
769
770 static int i2b_PVK(unsigned char **out, EVP_PKEY *pk, int enclevel,
771                    pem_password_cb *cb, void *u)
772 {
773     int outlen = 24, pklen;
774     unsigned char *p, *salt = NULL;
775     EVP_CIPHER_CTX *cctx = EVP_CIPHER_CTX_new();
776     if (enclevel)
777         outlen += PVK_SALTLEN;
778     pklen = do_i2b(NULL, pk, 0);
779     if (pklen < 0)
780         return -1;
781     outlen += pklen;
782     if (!out)
783         return outlen;
784     if (*out)
785         p = *out;
786     else {
787         p = OPENSSL_malloc(outlen);
788         if (p == NULL) {
789             PEMerr(PEM_F_I2B_PVK, ERR_R_MALLOC_FAILURE);
790             return -1;
791         }
792         *out = p;
793     }
794
795     write_ledword(&p, MS_PVKMAGIC);
796     write_ledword(&p, 0);
797     if (EVP_PKEY_id(pk) == EVP_PKEY_DSA)
798         write_ledword(&p, MS_KEYTYPE_SIGN);
799     else
800         write_ledword(&p, MS_KEYTYPE_KEYX);
801     write_ledword(&p, enclevel ? 1 : 0);
802     write_ledword(&p, enclevel ? PVK_SALTLEN : 0);
803     write_ledword(&p, pklen);
804     if (enclevel) {
805         if (RAND_bytes(p, PVK_SALTLEN) <= 0)
806             goto error;
807         salt = p;
808         p += PVK_SALTLEN;
809     }
810     do_i2b(&p, pk, 0);
811     if (enclevel == 0)
812         return outlen;
813     else {
814         char psbuf[PEM_BUFSIZE];
815         unsigned char keybuf[20];
816         int enctmplen, inlen;
817         if (cb)
818             inlen = cb(psbuf, PEM_BUFSIZE, 1, u);
819         else
820             inlen = PEM_def_callback(psbuf, PEM_BUFSIZE, 1, u);
821         if (inlen <= 0) {
822             PEMerr(PEM_F_I2B_PVK, PEM_R_BAD_PASSWORD_READ);
823             goto error;
824         }
825         if (!derive_pvk_key(keybuf, salt, PVK_SALTLEN,
826                             (unsigned char *)psbuf, inlen))
827             goto error;
828         if (enclevel == 1)
829             memset(keybuf + 5, 0, 11);
830         p = salt + PVK_SALTLEN + 8;
831         if (!EVP_EncryptInit_ex(cctx, EVP_rc4(), NULL, keybuf, NULL))
832             goto error;
833         OPENSSL_cleanse(keybuf, 20);
834         if (!EVP_DecryptUpdate(cctx, p, &enctmplen, p, pklen - 8))
835             goto error;
836         if (!EVP_DecryptFinal_ex(cctx, p + enctmplen, &enctmplen))
837             goto error;
838     }
839     EVP_CIPHER_CTX_free(cctx);
840     return outlen;
841
842  error:
843     EVP_CIPHER_CTX_free(cctx);
844     return -1;
845 }
846
847 int i2b_PVK_bio(BIO *out, EVP_PKEY *pk, int enclevel,
848                 pem_password_cb *cb, void *u)
849 {
850     unsigned char *tmp = NULL;
851     int outlen, wrlen;
852     outlen = i2b_PVK(&tmp, pk, enclevel, cb, u);
853     if (outlen < 0)
854         return -1;
855     wrlen = BIO_write(out, tmp, outlen);
856     OPENSSL_free(tmp);
857     if (wrlen == outlen) {
858         PEMerr(PEM_F_I2B_PVK_BIO, PEM_R_BIO_WRITE_FAILURE);
859         return outlen;
860     }
861     return -1;
862 }
863
864 # endif
865
866 #endif