STORE: Add the possibility to search for specific information
[openssl.git] / crypto / store / loader_file.c
1 /*
2  * Copyright 2016-2018 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the OpenSSL license (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include "e_os.h"
11 #include <string.h>
12 #include <sys/stat.h>
13 #include <assert.h>
14
15 #include <openssl/bio.h>
16 #include <openssl/dsa.h>         /* For d2i_DSAPrivateKey */
17 #include <openssl/err.h>
18 #include <openssl/evp.h>
19 #include <openssl/pem.h>
20 #include <openssl/pkcs12.h>      /* For the PKCS8 stuff o.O */
21 #include <openssl/rsa.h>         /* For d2i_RSAPrivateKey */
22 #include <openssl/safestack.h>
23 #include <openssl/store.h>
24 #include <openssl/ui.h>
25 #include <openssl/x509.h>        /* For the PKCS8 stuff o.O */
26 #include "internal/asn1_int.h"
27 #include "internal/ctype.h"
28 #include "internal/o_dir.h"
29 #include "internal/cryptlib.h"
30 #include "internal/store_int.h"
31 #include "store_locl.h"
32
33 #ifdef _WIN32
34 # define stat    _stat
35 #endif
36
37 /*-
38  *  Password prompting
39  *  ------------------
40  */
41
42 static char *file_get_pass(const UI_METHOD *ui_method, char *pass,
43                            size_t maxsize, const char *prompt_info, void *data)
44 {
45     UI *ui = UI_new();
46     char *prompt = NULL;
47
48     if (ui == NULL) {
49         OSSL_STOREerr(OSSL_STORE_F_FILE_GET_PASS, ERR_R_MALLOC_FAILURE);
50         return NULL;
51     }
52
53     if (ui_method != NULL)
54         UI_set_method(ui, ui_method);
55     UI_add_user_data(ui, data);
56
57     if ((prompt = UI_construct_prompt(ui, "pass phrase",
58                                       prompt_info)) == NULL) {
59         OSSL_STOREerr(OSSL_STORE_F_FILE_GET_PASS, ERR_R_MALLOC_FAILURE);
60         pass = NULL;
61     } else if (!UI_add_input_string(ui, prompt, UI_INPUT_FLAG_DEFAULT_PWD,
62                                     pass, 0, maxsize - 1)) {
63         OSSL_STOREerr(OSSL_STORE_F_FILE_GET_PASS, ERR_R_UI_LIB);
64         pass = NULL;
65     } else {
66         switch (UI_process(ui)) {
67         case -2:
68             OSSL_STOREerr(OSSL_STORE_F_FILE_GET_PASS,
69                           OSSL_STORE_R_UI_PROCESS_INTERRUPTED_OR_CANCELLED);
70             pass = NULL;
71             break;
72         case -1:
73             OSSL_STOREerr(OSSL_STORE_F_FILE_GET_PASS, ERR_R_UI_LIB);
74             pass = NULL;
75             break;
76         default:
77             break;
78         }
79     }
80
81     OPENSSL_free(prompt);
82     UI_free(ui);
83     return pass;
84 }
85
86 struct pem_pass_data {
87     const UI_METHOD *ui_method;
88     void *data;
89     const char *prompt_info;
90 };
91
92 static int file_fill_pem_pass_data(struct pem_pass_data *pass_data,
93                                    const char *prompt_info,
94                                    const UI_METHOD *ui_method, void *ui_data)
95 {
96     if (pass_data == NULL)
97         return 0;
98     pass_data->ui_method = ui_method;
99     pass_data->data = ui_data;
100     pass_data->prompt_info = prompt_info;
101     return 1;
102 }
103
104 /* This is used anywhere a pem_password_cb is needed */
105 static int file_get_pem_pass(char *buf, int num, int w, void *data)
106 {
107     struct pem_pass_data *pass_data = data;
108     char *pass = file_get_pass(pass_data->ui_method, buf, num,
109                                pass_data->prompt_info, pass_data->data);
110
111     return pass == NULL ? 0 : strlen(pass);
112 }
113
114 /*-
115  *  The file scheme decoders
116  *  ------------------------
117  *
118  *  Each possible data type has its own decoder, which either operates
119  *  through a given PEM name, or attempts to decode to see if the blob
120  *  it's given is decodable for its data type.  The assumption is that
121  *  only the correct data type will match the content.
122  */
123
124 /*-
125  * The try_decode function is called to check if the blob of data can
126  * be used by this handler, and if it can, decodes it into a supported
127  * OpenSSL type and returns a OSSL_STORE_INFO with the decoded data.
128  * Input:
129  *    pem_name:     If this blob comes from a PEM file, this holds
130  *                  the PEM name.  If it comes from another type of
131  *                  file, this is NULL.
132  *    pem_header:   If this blob comes from a PEM file, this holds
133  *                  the PEM headers.  If it comes from another type of
134  *                  file, this is NULL.
135  *    blob:         The blob of data to match with what this handler
136  *                  can use.
137  *    len:          The length of the blob.
138  *    handler_ctx:  For a handler marked repeatable, this pointer can
139  *                  be used to create a context for the handler.  IT IS
140  *                  THE HANDLER'S RESPONSIBILITY TO CREATE AND DESTROY
141  *                  THIS CONTEXT APPROPRIATELY, i.e. create on first call
142  *                  and destroy when about to return NULL.
143  *    matchcount:   A pointer to an int to count matches for this data.
144  *                  Usually becomes 0 (no match) or 1 (match!), but may
145  *                  be higher in the (unlikely) event that the data matches
146  *                  more than one possibility.  The int will always be
147  *                  zero when the function is called.
148  *    ui_method:    Application UI method for getting a password, pin
149  *                  or any other interactive data.
150  *    ui_data:      Application data to be passed to ui_method when
151  *                  it's called.
152  * Output:
153  *    a OSSL_STORE_INFO
154  */
155 typedef OSSL_STORE_INFO *(*file_try_decode_fn)(const char *pem_name,
156                                                const char *pem_header,
157                                                const unsigned char *blob,
158                                                size_t len, void **handler_ctx,
159                                                int *matchcount,
160                                                const UI_METHOD *ui_method,
161                                                void *ui_data);
162 /*
163  * The eof function should return 1 if there's no more data to be found
164  * with the handler_ctx, otherwise 0.  This is only used when the handler is
165  * marked repeatable.
166  */
167 typedef int (*file_eof_fn)(void *handler_ctx);
168 /*
169  * The destroy_ctx function is used to destroy the handler_ctx that was
170  * intiated by a repeatable try_decode fuction.  This is only used when
171  * the handler is marked repeatable.
172  */
173 typedef void (*file_destroy_ctx_fn)(void **handler_ctx);
174
175 typedef struct file_handler_st {
176     const char *name;
177     file_try_decode_fn try_decode;
178     file_eof_fn eof;
179     file_destroy_ctx_fn destroy_ctx;
180
181     /* flags */
182     int repeatable;
183 } FILE_HANDLER;
184
185 /*
186  * PKCS#12 decoder.  It operates by decoding all of the blob content,
187  * extracting all the interesting data from it and storing them internally,
188  * then serving them one piece at a time.
189  */
190 static OSSL_STORE_INFO *try_decode_PKCS12(const char *pem_name,
191                                           const char *pem_header,
192                                           const unsigned char *blob,
193                                           size_t len, void **pctx,
194                                           int *matchcount,
195                                           const UI_METHOD *ui_method,
196                                           void *ui_data)
197 {
198     OSSL_STORE_INFO *store_info = NULL;
199     STACK_OF(OSSL_STORE_INFO) *ctx = *pctx;
200
201     if (ctx == NULL) {
202         /* Initial parsing */
203         PKCS12 *p12;
204         int ok = 0;
205
206         if (pem_name != NULL)
207             /* No match, there is no PEM PKCS12 tag */
208             return NULL;
209
210         if ((p12 = d2i_PKCS12(NULL, &blob, len)) != NULL) {
211             char *pass = NULL;
212             char tpass[PEM_BUFSIZE];
213             EVP_PKEY *pkey = NULL;
214             X509 *cert = NULL;
215             STACK_OF(X509) *chain = NULL;
216
217             *matchcount = 1;
218
219             if (PKCS12_verify_mac(p12, "", 0)
220                 || PKCS12_verify_mac(p12, NULL, 0)) {
221                 pass = "";
222             } else {
223                 if ((pass = file_get_pass(ui_method, tpass, PEM_BUFSIZE,
224                                           "PKCS12 import password",
225                                           ui_data)) == NULL) {
226                     OSSL_STOREerr(OSSL_STORE_F_TRY_DECODE_PKCS12,
227                                   OSSL_STORE_R_PASSPHRASE_CALLBACK_ERROR);
228                     goto p12_end;
229                 }
230                 if (!PKCS12_verify_mac(p12, pass, strlen(pass))) {
231                     OSSL_STOREerr(OSSL_STORE_F_TRY_DECODE_PKCS12,
232                                   OSSL_STORE_R_ERROR_VERIFYING_PKCS12_MAC);
233                     goto p12_end;
234                 }
235             }
236
237             if (PKCS12_parse(p12, pass, &pkey, &cert, &chain)) {
238                 OSSL_STORE_INFO *si_pkey = NULL;
239                 OSSL_STORE_INFO *si_cert = NULL;
240                 OSSL_STORE_INFO *si_ca = NULL;
241
242                 if ((ctx = sk_OSSL_STORE_INFO_new_null()) != NULL
243                     && (si_pkey = OSSL_STORE_INFO_new_PKEY(pkey)) != NULL
244                     && sk_OSSL_STORE_INFO_push(ctx, si_pkey) != 0
245                     && (si_cert = OSSL_STORE_INFO_new_CERT(cert)) != NULL
246                     && sk_OSSL_STORE_INFO_push(ctx, si_cert) != 0) {
247                     ok = 1;
248                     si_pkey = NULL;
249                     si_cert = NULL;
250
251                     while(sk_X509_num(chain) > 0) {
252                         X509 *ca = sk_X509_value(chain, 0);
253
254                         if ((si_ca = OSSL_STORE_INFO_new_CERT(ca)) == NULL
255                             || sk_OSSL_STORE_INFO_push(ctx, si_ca) == 0) {
256                             ok = 0;
257                             break;
258                         }
259                         si_ca = NULL;
260                         (void)sk_X509_shift(chain);
261                     }
262                 }
263                 if (!ok) {
264                     OSSL_STORE_INFO_free(si_ca);
265                     OSSL_STORE_INFO_free(si_cert);
266                     OSSL_STORE_INFO_free(si_pkey);
267                     sk_OSSL_STORE_INFO_pop_free(ctx, OSSL_STORE_INFO_free);
268                     EVP_PKEY_free(pkey);
269                     X509_free(cert);
270                     sk_X509_pop_free(chain, X509_free);
271                     ctx = NULL;
272                 }
273                 *pctx = ctx;
274             }
275         }
276      p12_end:
277         PKCS12_free(p12);
278         if (!ok)
279             return NULL;
280     }
281
282     if (ctx != NULL) {
283         *matchcount = 1;
284         store_info = sk_OSSL_STORE_INFO_shift(ctx);
285     }
286
287     return store_info;
288 }
289
290 static int eof_PKCS12(void *ctx_)
291 {
292     STACK_OF(OSSL_STORE_INFO) *ctx = ctx_;
293
294     return ctx == NULL || sk_OSSL_STORE_INFO_num(ctx) == 0;
295 }
296
297 static void destroy_ctx_PKCS12(void **pctx)
298 {
299     STACK_OF(OSSL_STORE_INFO) *ctx = *pctx;
300
301     sk_OSSL_STORE_INFO_pop_free(ctx, OSSL_STORE_INFO_free);
302     *pctx = NULL;
303 }
304
305 static FILE_HANDLER PKCS12_handler = {
306     "PKCS12",
307     try_decode_PKCS12,
308     eof_PKCS12,
309     destroy_ctx_PKCS12,
310     1                            /* repeatable */
311 };
312
313 /*
314  * Encrypted PKCS#8 decoder.  It operates by just decrypting the given blob
315  * into a new blob, which is returned as an EMBEDDED STORE_INFO.  The whole
316  * decoding process will then start over with the new blob.
317  */
318 static OSSL_STORE_INFO *try_decode_PKCS8Encrypted(const char *pem_name,
319                                                   const char *pem_header,
320                                                   const unsigned char *blob,
321                                                   size_t len, void **pctx,
322                                                   int *matchcount,
323                                                   const UI_METHOD *ui_method,
324                                                   void *ui_data)
325 {
326     X509_SIG *p8 = NULL;
327     char kbuf[PEM_BUFSIZE];
328     char *pass = NULL;
329     const X509_ALGOR *dalg = NULL;
330     const ASN1_OCTET_STRING *doct = NULL;
331     OSSL_STORE_INFO *store_info = NULL;
332     BUF_MEM *mem = NULL;
333     unsigned char *new_data = NULL;
334     int new_data_len;
335
336     if (pem_name != NULL) {
337         if (strcmp(pem_name, PEM_STRING_PKCS8) != 0)
338             return NULL;
339         *matchcount = 1;
340     }
341
342     if ((p8 = d2i_X509_SIG(NULL, &blob, len)) == NULL)
343         return NULL;
344
345     *matchcount = 1;
346
347     if ((mem = BUF_MEM_new()) == NULL) {
348         OSSL_STOREerr(OSSL_STORE_F_TRY_DECODE_PKCS8ENCRYPTED,
349                       ERR_R_MALLOC_FAILURE);
350         goto nop8;
351     }
352
353     if ((pass = file_get_pass(ui_method, kbuf, PEM_BUFSIZE,
354                               "PKCS8 decrypt password", ui_data)) == NULL) {
355         OSSL_STOREerr(OSSL_STORE_F_TRY_DECODE_PKCS8ENCRYPTED,
356                       OSSL_STORE_R_BAD_PASSWORD_READ);
357         goto nop8;
358     }
359
360     X509_SIG_get0(p8, &dalg, &doct);
361     if (!PKCS12_pbe_crypt(dalg, pass, strlen(pass), doct->data, doct->length,
362                           &new_data, &new_data_len, 0))
363         goto nop8;
364
365     mem->data = (char *)new_data;
366     mem->max = mem->length = (size_t)new_data_len;
367     X509_SIG_free(p8);
368
369     store_info = ossl_store_info_new_EMBEDDED(PEM_STRING_PKCS8INF, mem);
370     if (store_info == NULL) {
371         OSSL_STOREerr(OSSL_STORE_F_TRY_DECODE_PKCS8ENCRYPTED,
372                       ERR_R_MALLOC_FAILURE);
373         goto nop8;
374     }
375
376     return store_info;
377  nop8:
378     X509_SIG_free(p8);
379     BUF_MEM_free(mem);
380     return NULL;
381 }
382
383 static FILE_HANDLER PKCS8Encrypted_handler = {
384     "PKCS8Encrypted",
385     try_decode_PKCS8Encrypted
386 };
387
388 /*
389  * Private key decoder.  Decodes all sorts of private keys, both PKCS#8
390  * encoded ones and old style PEM ones (with the key type is encoded into
391  * the PEM name).
392  */
393 int pem_check_suffix(const char *pem_str, const char *suffix);
394 static OSSL_STORE_INFO *try_decode_PrivateKey(const char *pem_name,
395                                               const char *pem_header,
396                                               const unsigned char *blob,
397                                               size_t len, void **pctx,
398                                               int *matchcount,
399                                               const UI_METHOD *ui_method,
400                                               void *ui_data)
401 {
402     OSSL_STORE_INFO *store_info = NULL;
403     EVP_PKEY *pkey = NULL;
404     const EVP_PKEY_ASN1_METHOD *ameth = NULL;
405
406     if (pem_name != NULL) {
407         if (strcmp(pem_name, PEM_STRING_PKCS8INF) == 0) {
408             PKCS8_PRIV_KEY_INFO *p8inf =
409                 d2i_PKCS8_PRIV_KEY_INFO(NULL, &blob, len);
410
411             *matchcount = 1;
412             if (p8inf != NULL)
413                 pkey = EVP_PKCS82PKEY(p8inf);
414             PKCS8_PRIV_KEY_INFO_free(p8inf);
415         } else {
416             int slen;
417
418             if ((slen = pem_check_suffix(pem_name, "PRIVATE KEY")) > 0
419                 && (ameth = EVP_PKEY_asn1_find_str(NULL, pem_name,
420                                                    slen)) != NULL) {
421                 *matchcount = 1;
422                 pkey = d2i_PrivateKey(ameth->pkey_id, NULL, &blob, len);
423             }
424         }
425     } else {
426         int i;
427
428         for (i = 0; i < EVP_PKEY_asn1_get_count(); i++) {
429             EVP_PKEY *tmp_pkey = NULL;
430             const unsigned char *tmp_blob = blob;
431
432             ameth = EVP_PKEY_asn1_get0(i);
433             if (ameth->pkey_flags & ASN1_PKEY_ALIAS)
434                 continue;
435
436             tmp_pkey = d2i_PrivateKey(ameth->pkey_id, NULL, &tmp_blob, len);
437             if (tmp_pkey != NULL) {
438                 if (pkey != NULL)
439                     EVP_PKEY_free(tmp_pkey);
440                 else
441                     pkey = tmp_pkey;
442                 (*matchcount)++;
443             }
444         }
445
446         if (*matchcount > 1) {
447             EVP_PKEY_free(pkey);
448             pkey = NULL;
449         }
450     }
451     if (pkey == NULL)
452         /* No match */
453         return NULL;
454
455     store_info = OSSL_STORE_INFO_new_PKEY(pkey);
456     if (store_info == NULL)
457         EVP_PKEY_free(pkey);
458
459     return store_info;
460 }
461
462 static FILE_HANDLER PrivateKey_handler = {
463     "PrivateKey",
464     try_decode_PrivateKey
465 };
466
467 /*
468  * Public key decoder.  Only supports SubjectPublicKeyInfo formated keys.
469  */
470 static OSSL_STORE_INFO *try_decode_PUBKEY(const char *pem_name,
471                                           const char *pem_header,
472                                           const unsigned char *blob,
473                                           size_t len, void **pctx,
474                                           int *matchcount,
475                                           const UI_METHOD *ui_method,
476                                           void *ui_data)
477 {
478     OSSL_STORE_INFO *store_info = NULL;
479     EVP_PKEY *pkey = NULL;
480
481     if (pem_name != NULL) {
482         if (strcmp(pem_name, PEM_STRING_PUBLIC) != 0)
483             /* No match */
484             return NULL;
485         *matchcount = 1;
486     }
487
488     if ((pkey = d2i_PUBKEY(NULL, &blob, len)) != NULL) {
489         *matchcount = 1;
490         store_info = OSSL_STORE_INFO_new_PKEY(pkey);
491     }
492
493     return store_info;
494 }
495
496 static FILE_HANDLER PUBKEY_handler = {
497     "PUBKEY",
498     try_decode_PUBKEY
499 };
500
501 /*
502  * Key parameter decoder.
503  */
504 static OSSL_STORE_INFO *try_decode_params(const char *pem_name,
505                                           const char *pem_header,
506                                           const unsigned char *blob,
507                                           size_t len, void **pctx,
508                                           int *matchcount,
509                                           const UI_METHOD *ui_method,
510                                           void *ui_data)
511 {
512     OSSL_STORE_INFO *store_info = NULL;
513     int slen = 0;
514     EVP_PKEY *pkey = NULL;
515     const EVP_PKEY_ASN1_METHOD *ameth = NULL;
516     int ok = 0;
517
518     if (pem_name != NULL) {
519         if ((slen = pem_check_suffix(pem_name, "PARAMETERS")) == 0)
520             return NULL;
521         *matchcount = 1;
522     }
523
524     if (slen > 0) {
525         if ((pkey = EVP_PKEY_new()) == NULL) {
526             OSSL_STOREerr(OSSL_STORE_F_TRY_DECODE_PARAMS, ERR_R_EVP_LIB);
527             return NULL;
528         }
529
530
531         if (EVP_PKEY_set_type_str(pkey, pem_name, slen)
532             && (ameth = EVP_PKEY_get0_asn1(pkey)) != NULL
533             && ameth->param_decode != NULL
534             && ameth->param_decode(pkey, &blob, len))
535             ok = 1;
536     } else {
537         int i;
538         EVP_PKEY *tmp_pkey = NULL;
539
540         for (i = 0; i < EVP_PKEY_asn1_get_count(); i++) {
541             const unsigned char *tmp_blob = blob;
542
543             if (tmp_pkey == NULL && (tmp_pkey = EVP_PKEY_new()) == NULL) {
544                 OSSL_STOREerr(OSSL_STORE_F_TRY_DECODE_PARAMS, ERR_R_EVP_LIB);
545                 break;
546             }
547
548             ameth = EVP_PKEY_asn1_get0(i);
549             if (ameth->pkey_flags & ASN1_PKEY_ALIAS)
550                 continue;
551
552             if (EVP_PKEY_set_type(tmp_pkey, ameth->pkey_id)
553                 && (ameth = EVP_PKEY_get0_asn1(tmp_pkey)) != NULL
554                 && ameth->param_decode != NULL
555                 && ameth->param_decode(tmp_pkey, &tmp_blob, len)) {
556                 if (pkey != NULL)
557                     EVP_PKEY_free(tmp_pkey);
558                 else
559                     pkey = tmp_pkey;
560                 tmp_pkey = NULL;
561                 (*matchcount)++;
562             }
563         }
564
565         EVP_PKEY_free(tmp_pkey);
566         if (*matchcount == 1) {
567             ok = 1;
568         }
569     }
570
571     if (ok)
572         store_info = OSSL_STORE_INFO_new_PARAMS(pkey);
573     if (store_info == NULL)
574         EVP_PKEY_free(pkey);
575
576     return store_info;
577 }
578
579 static FILE_HANDLER params_handler = {
580     "params",
581     try_decode_params
582 };
583
584 /*
585  * X.509 certificate decoder.
586  */
587 static OSSL_STORE_INFO *try_decode_X509Certificate(const char *pem_name,
588                                                    const char *pem_header,
589                                                    const unsigned char *blob,
590                                                    size_t len, void **pctx,
591                                                    int *matchcount,
592                                                    const UI_METHOD *ui_method,
593                                                    void *ui_data)
594 {
595     OSSL_STORE_INFO *store_info = NULL;
596     X509 *cert = NULL;
597
598     /*
599      * In most cases, we can try to interpret the serialized data as a trusted
600      * cert (X509 + X509_AUX) and fall back to reading it as a normal cert
601      * (just X509), but if the PEM name specifically declares it as a trusted
602      * cert, then no fallback should be engaged.  |ignore_trusted| tells if
603      * the fallback can be used (1) or not (0).
604      */
605     int ignore_trusted = 1;
606
607     if (pem_name != NULL) {
608         if (strcmp(pem_name, PEM_STRING_X509_TRUSTED) == 0)
609             ignore_trusted = 0;
610         else if (strcmp(pem_name, PEM_STRING_X509_OLD) != 0
611                  && strcmp(pem_name, PEM_STRING_X509) != 0)
612             /* No match */
613             return NULL;
614         *matchcount = 1;
615     }
616
617     if ((cert = d2i_X509_AUX(NULL, &blob, len)) != NULL
618         || (ignore_trusted && (cert = d2i_X509(NULL, &blob, len)) != NULL)) {
619         *matchcount = 1;
620         store_info = OSSL_STORE_INFO_new_CERT(cert);
621     }
622
623     if (store_info == NULL)
624         X509_free(cert);
625
626     return store_info;
627 }
628
629 static FILE_HANDLER X509Certificate_handler = {
630     "X509Certificate",
631     try_decode_X509Certificate
632 };
633
634 /*
635  * X.509 CRL decoder.
636  */
637 static OSSL_STORE_INFO *try_decode_X509CRL(const char *pem_name,
638                                            const char *pem_header,
639                                            const unsigned char *blob,
640                                            size_t len, void **pctx,
641                                            int *matchcount,
642                                            const UI_METHOD *ui_method,
643                                            void *ui_data)
644 {
645     OSSL_STORE_INFO *store_info = NULL;
646     X509_CRL *crl = NULL;
647
648     if (pem_name != NULL) {
649         if (strcmp(pem_name, PEM_STRING_X509_CRL) != 0)
650             /* No match */
651             return NULL;
652         *matchcount = 1;
653     }
654
655     if ((crl = d2i_X509_CRL(NULL, &blob, len)) != NULL) {
656         *matchcount = 1;
657         store_info = OSSL_STORE_INFO_new_CRL(crl);
658     }
659
660     if (store_info == NULL)
661         X509_CRL_free(crl);
662
663     return store_info;
664 }
665
666 static FILE_HANDLER X509CRL_handler = {
667     "X509CRL",
668     try_decode_X509CRL
669 };
670
671 /*
672  * To finish it all off, we collect all the handlers.
673  */
674 static const FILE_HANDLER *file_handlers[] = {
675     &PKCS12_handler,
676     &PKCS8Encrypted_handler,
677     &X509Certificate_handler,
678     &X509CRL_handler,
679     &params_handler,
680     &PUBKEY_handler,
681     &PrivateKey_handler,
682 };
683
684
685 /*-
686  *  The loader itself
687  *  -----------------
688  */
689
690 struct ossl_store_loader_ctx_st {
691     enum {
692         is_raw = 0,
693         is_pem,
694         is_dir
695     } type;
696     int errcnt;
697 #define FILE_FLAG_SECMEM         (1<<0)
698     unsigned int flags;
699     union {
700         struct {                 /* Used with is_raw and is_pem */
701             BIO *file;
702
703             /*
704              * The following are used when the handler is marked as
705              * repeatable
706              */
707             const FILE_HANDLER *last_handler;
708             void *last_handler_ctx;
709         } file;
710         struct {                 /* Used with is_dir */
711             OPENSSL_DIR_CTX *ctx;
712             int end_reached;
713             char *uri;
714
715             /*
716              * The directory reading utility we have combines opening with
717              * reading the first name.  To make sure we can detect the end
718              * at the right time, we read early and cache the name.
719              */
720             const char *last_entry;
721             int last_errno;
722         } dir;
723     } _;
724
725     /* Expected object type.  May be unspecified */
726     int expected_type;
727 };
728
729 static void OSSL_STORE_LOADER_CTX_free(OSSL_STORE_LOADER_CTX *ctx)
730 {
731     if (ctx->type == is_dir) {
732         OPENSSL_free(ctx->_.dir.uri);
733     } else {
734         if (ctx->_.file.last_handler != NULL) {
735             ctx->_.file.last_handler->destroy_ctx(&ctx->_.file.last_handler_ctx);
736             ctx->_.file.last_handler_ctx = NULL;
737             ctx->_.file.last_handler = NULL;
738         }
739     }
740     OPENSSL_free(ctx);
741 }
742
743 static OSSL_STORE_LOADER_CTX *file_open(const OSSL_STORE_LOADER *loader,
744                                         const char *uri,
745                                         const UI_METHOD *ui_method,
746                                         void *ui_data)
747 {
748     OSSL_STORE_LOADER_CTX *ctx = NULL;
749     struct stat st;
750     struct {
751         const char *path;
752         unsigned int check_absolute:1;
753     } path_data[2];
754     size_t path_data_n = 0, i;
755     const char *path;
756
757     /*
758      * First step, just take the URI as is.
759      */
760     path_data[path_data_n].check_absolute = 0;
761     path_data[path_data_n++].path = uri;
762
763     /*
764      * Second step, if the URI appears to start with the 'file' scheme,
765      * extract the path and make that the second path to check.
766      * There's a special case if the URI also contains an authority, then
767      * the full URI shouldn't be used as a path anywhere.
768      */
769     if (strncasecmp(uri, "file:", 5) == 0) {
770         const char *p = &uri[5];
771
772         if (strncmp(&uri[5], "//", 2) == 0) {
773             path_data_n--;           /* Invalidate using the full URI */
774             if (strncasecmp(&uri[7], "localhost/", 10) == 0) {
775                 p = &uri[16];
776             } else if (uri[7] == '/') {
777                 p = &uri[7];
778             } else {
779                 OSSL_STOREerr(OSSL_STORE_F_FILE_OPEN,
780                               OSSL_STORE_R_URI_AUTHORITY_UNSUPPORTED);
781                 return NULL;
782             }
783         }
784
785         path_data[path_data_n].check_absolute = 1;
786 #ifdef _WIN32
787         /* Windows file: URIs with a drive letter start with a / */
788         if (p[0] == '/' && p[2] == ':' && p[3] == '/') {
789             char c = ossl_tolower(p[1]);
790
791             if (c >= 'a' && c <= 'z') {
792                 p++;
793                 /* We know it's absolute, so no need to check */
794                 path_data[path_data_n].check_absolute = 0;
795             }
796         }
797 #endif
798         path_data[path_data_n++].path = p;
799     }
800
801
802     for (i = 0, path = NULL; path == NULL && i < path_data_n; i++) {
803         /*
804          * If the scheme "file" was an explicit part of the URI, the path must
805          * be absolute.  So says RFC 8089
806          */
807         if (path_data[i].check_absolute && path_data[i].path[0] != '/') {
808             OSSL_STOREerr(OSSL_STORE_F_FILE_OPEN,
809                           OSSL_STORE_R_PATH_MUST_BE_ABSOLUTE);
810             ERR_add_error_data(1, path_data[i].path);
811             return NULL;
812         }
813
814         if (stat(path_data[i].path, &st) < 0) {
815             SYSerr(SYS_F_STAT, errno);
816             ERR_add_error_data(1, path_data[i].path);
817         } else {
818             path = path_data[i].path;
819         }
820     }
821     if (path == NULL) {
822         return NULL;
823     }
824
825     /* Successfully found a working path, clear possible collected errors */
826     ERR_clear_error();
827
828     ctx = OPENSSL_zalloc(sizeof(*ctx));
829     if (ctx == NULL) {
830         OSSL_STOREerr(OSSL_STORE_F_FILE_OPEN, ERR_R_MALLOC_FAILURE);
831         return NULL;
832     }
833
834     if ((st.st_mode & S_IFDIR) == S_IFDIR) {
835         /*
836          * Try to copy everything, even if we know that some of them must be
837          * NULL for the moment.  This prevents errors in the future, when more
838          * components may be used.
839          */
840         ctx->_.dir.uri = OPENSSL_strdup(uri);
841         ctx->type = is_dir;
842
843         if (ctx->_.dir.uri == NULL)
844             goto err;
845
846         ctx->_.dir.last_entry = OPENSSL_DIR_read(&ctx->_.dir.ctx, path);
847         ctx->_.dir.last_errno = errno;
848         if (ctx->_.dir.last_entry == NULL) {
849             if (ctx->_.dir.last_errno != 0) {
850                 char errbuf[256];
851                 errno = ctx->_.dir.last_errno;
852                 openssl_strerror_r(errno, errbuf, sizeof(errbuf));
853                 OSSL_STOREerr(OSSL_STORE_F_FILE_OPEN, ERR_R_SYS_LIB);
854                 ERR_add_error_data(1, errbuf);
855                 goto err;
856             }
857             ctx->_.dir.end_reached = 1;
858         }
859     } else {
860         BIO *buff = NULL;
861         char peekbuf[4096] = { 0, };
862
863         if ((buff = BIO_new(BIO_f_buffer())) == NULL
864             || (ctx->_.file.file = BIO_new_file(path, "rb")) == NULL) {
865             BIO_free_all(buff);
866             goto err;
867         }
868
869         ctx->_.file.file = BIO_push(buff, ctx->_.file.file);
870         if (BIO_buffer_peek(ctx->_.file.file, peekbuf, sizeof(peekbuf) - 1) > 0) {
871             peekbuf[sizeof(peekbuf) - 1] = '\0';
872             if (strstr(peekbuf, "-----BEGIN ") != NULL)
873                 ctx->type = is_pem;
874         }
875     }
876
877     return ctx;
878  err:
879     OSSL_STORE_LOADER_CTX_free(ctx);
880     return NULL;
881 }
882
883 static int file_ctrl(OSSL_STORE_LOADER_CTX *ctx, int cmd, va_list args)
884 {
885     int ret = 1;
886
887     switch (cmd) {
888     case OSSL_STORE_C_USE_SECMEM:
889         {
890             int on = *(va_arg(args, int *));
891
892             switch (on) {
893             case 0:
894                 ctx->flags &= ~FILE_FLAG_SECMEM;
895                 break;
896             case 1:
897                 ctx->flags |= FILE_FLAG_SECMEM;
898                 break;
899             default:
900                 OSSL_STOREerr(OSSL_STORE_F_FILE_CTRL,
901                               ERR_R_PASSED_INVALID_ARGUMENT);
902                 ret = 0;
903                 break;
904             }
905         }
906         break;
907     default:
908         break;
909     }
910
911     return ret;
912 }
913
914 static int file_expect(OSSL_STORE_LOADER_CTX *ctx, int expected)
915 {
916     ctx->expected_type = expected;
917     return 1;
918 }
919
920 /* Internal function to decode an already opened PEM file */
921 OSSL_STORE_LOADER_CTX *ossl_store_file_attach_pem_bio_int(BIO *bp)
922 {
923     OSSL_STORE_LOADER_CTX *ctx = OPENSSL_zalloc(sizeof(*ctx));
924
925     if (ctx == NULL) {
926         OSSL_STOREerr(OSSL_STORE_F_OSSL_STORE_FILE_ATTACH_PEM_BIO_INT,
927                       ERR_R_MALLOC_FAILURE);
928         return NULL;
929     }
930
931     ctx->_.file.file = bp;
932     ctx->type = is_pem;
933
934     return ctx;
935 }
936
937 static OSSL_STORE_INFO *file_load_try_decode(OSSL_STORE_LOADER_CTX *ctx,
938                                              const char *pem_name,
939                                              const char *pem_header,
940                                              unsigned char *data, size_t len,
941                                              const UI_METHOD *ui_method,
942                                              void *ui_data, int *matchcount)
943 {
944     OSSL_STORE_INFO *result = NULL;
945     BUF_MEM *new_mem = NULL;
946     char *new_pem_name = NULL;
947     int t = 0;
948
949  again:
950     {
951         size_t i = 0;
952         void *handler_ctx = NULL;
953         const FILE_HANDLER **matching_handlers =
954             OPENSSL_zalloc(sizeof(*matching_handlers)
955                            * OSSL_NELEM(file_handlers));
956
957         if (matching_handlers == NULL) {
958             OSSL_STOREerr(OSSL_STORE_F_FILE_LOAD_TRY_DECODE,
959                           ERR_R_MALLOC_FAILURE);
960             goto err;
961         }
962
963         *matchcount = 0;
964         for (i = 0; i < OSSL_NELEM(file_handlers); i++) {
965             const FILE_HANDLER *handler = file_handlers[i];
966             int try_matchcount = 0;
967             void *tmp_handler_ctx = NULL;
968             OSSL_STORE_INFO *tmp_result =
969                 handler->try_decode(pem_name, pem_header, data, len,
970                                     &tmp_handler_ctx, &try_matchcount,
971                                     ui_method, ui_data);
972
973             if (try_matchcount > 0) {
974
975                 matching_handlers[*matchcount] = handler;
976
977                 if (handler_ctx)
978                     handler->destroy_ctx(&handler_ctx);
979                 handler_ctx = tmp_handler_ctx;
980
981                 if ((*matchcount += try_matchcount) > 1) {
982                     /* more than one match => ambiguous, kill any result */
983                     OSSL_STORE_INFO_free(result);
984                     OSSL_STORE_INFO_free(tmp_result);
985                     if (handler->destroy_ctx != NULL)
986                         handler->destroy_ctx(&handler_ctx);
987                     handler_ctx = NULL;
988                     tmp_result = NULL;
989                     result = NULL;
990                 }
991                 if (result == NULL)
992                     result = tmp_result;
993             }
994         }
995
996         if (*matchcount == 1 && matching_handlers[0]->repeatable) {
997             ctx->_.file.last_handler = matching_handlers[0];
998             ctx->_.file.last_handler_ctx = handler_ctx;
999         }
1000
1001         OPENSSL_free(matching_handlers);
1002     }
1003
1004  err:
1005     OPENSSL_free(new_pem_name);
1006     BUF_MEM_free(new_mem);
1007
1008     if (result != NULL
1009         && (t = OSSL_STORE_INFO_get_type(result)) == OSSL_STORE_INFO_EMBEDDED) {
1010         pem_name = new_pem_name =
1011             ossl_store_info_get0_EMBEDDED_pem_name(result);
1012         new_mem = ossl_store_info_get0_EMBEDDED_buffer(result);
1013         data = (unsigned char *)new_mem->data;
1014         len = new_mem->length;
1015         OPENSSL_free(result);
1016         result = NULL;
1017         goto again;
1018     }
1019
1020     if (result != NULL)
1021         ERR_clear_error();
1022
1023     return result;
1024 }
1025
1026 static OSSL_STORE_INFO *file_load_try_repeat(OSSL_STORE_LOADER_CTX *ctx,
1027                                              const UI_METHOD *ui_method,
1028                                              void *ui_data)
1029 {
1030     OSSL_STORE_INFO *result = NULL;
1031     int try_matchcount = 0;
1032
1033     if (ctx->_.file.last_handler != NULL) {
1034         result =
1035             ctx->_.file.last_handler->try_decode(NULL, NULL, NULL, 0,
1036                                                  &ctx->_.file.last_handler_ctx,
1037                                                  &try_matchcount,
1038                                                  ui_method, ui_data);
1039
1040         if (result == NULL) {
1041             ctx->_.file.last_handler->destroy_ctx(&ctx->_.file.last_handler_ctx);
1042             ctx->_.file.last_handler_ctx = NULL;
1043             ctx->_.file.last_handler = NULL;
1044         }
1045     }
1046     return result;
1047 }
1048
1049 static void pem_free_flag(void *pem_data, int secure, size_t num)
1050 {
1051     if (secure)
1052         OPENSSL_secure_clear_free(pem_data, num);
1053     else
1054         OPENSSL_free(pem_data);
1055 }
1056 static int file_read_pem(BIO *bp, char **pem_name, char **pem_header,
1057                          unsigned char **data, long *len,
1058                          const UI_METHOD *ui_method,
1059                          void *ui_data, int secure)
1060 {
1061     int i = secure
1062         ? PEM_read_bio_ex(bp, pem_name, pem_header, data, len,
1063                           PEM_FLAG_SECURE | PEM_FLAG_EAY_COMPATIBLE)
1064         : PEM_read_bio(bp, pem_name, pem_header, data, len);
1065
1066     if (i <= 0)
1067         return 0;
1068
1069     /*
1070      * 10 is the number of characters in "Proc-Type:", which
1071      * PEM_get_EVP_CIPHER_INFO() requires to be present.
1072      * If the PEM header has less characters than that, it's
1073      * not worth spending cycles on it.
1074      */
1075     if (strlen(*pem_header) > 10) {
1076         EVP_CIPHER_INFO cipher;
1077         struct pem_pass_data pass_data;
1078
1079         if (!PEM_get_EVP_CIPHER_INFO(*pem_header, &cipher)
1080             || !file_fill_pem_pass_data(&pass_data, "PEM", ui_method, ui_data)
1081             || !PEM_do_header(&cipher, *data, len, file_get_pem_pass,
1082                               &pass_data)) {
1083             return 0;
1084         }
1085     }
1086     return 1;
1087 }
1088
1089 static int file_read_asn1(BIO *bp, unsigned char **data, long *len)
1090 {
1091     BUF_MEM *mem = NULL;
1092
1093     if (asn1_d2i_read_bio(bp, &mem) < 0)
1094         return 0;
1095
1096     *data = (unsigned char *)mem->data;
1097     *len = (long)mem->length;
1098     OPENSSL_free(mem);
1099
1100     return 1;
1101 }
1102
1103 static int ends_with_dirsep(const char *uri)
1104 {
1105     if (*uri != '\0')
1106         uri += strlen(uri) - 1;
1107 #if defined __VMS
1108     if (*uri == ']' || *uri == '>' || *uri == ':')
1109         return 1;
1110 #elif defined _WIN32
1111     if (*uri == '\\')
1112         return 1;
1113 #endif
1114     return *uri == '/';
1115 }
1116
1117 static int file_name_to_uri(OSSL_STORE_LOADER_CTX *ctx, const char *name,
1118                             char **data)
1119 {
1120     assert(name != NULL);
1121     assert(data != NULL);
1122     {
1123         const char *pathsep = ends_with_dirsep(ctx->_.dir.uri) ? "" : "/";
1124         long calculated_length = strlen(ctx->_.dir.uri) + strlen(pathsep)
1125             + strlen(name) + 1 /* \0 */;
1126
1127         *data = OPENSSL_zalloc(calculated_length);
1128         if (*data == NULL) {
1129             OSSL_STOREerr(OSSL_STORE_F_FILE_NAME_TO_URI, ERR_R_MALLOC_FAILURE);
1130             return 0;
1131         }
1132
1133         OPENSSL_strlcat(*data, ctx->_.dir.uri, calculated_length);
1134         OPENSSL_strlcat(*data, pathsep, calculated_length);
1135         OPENSSL_strlcat(*data, name, calculated_length);
1136     }
1137     return 1;
1138 }
1139
1140 static int file_eof(OSSL_STORE_LOADER_CTX *ctx);
1141 static int file_error(OSSL_STORE_LOADER_CTX *ctx);
1142 static OSSL_STORE_INFO *file_load(OSSL_STORE_LOADER_CTX *ctx,
1143                                   const UI_METHOD *ui_method, void *ui_data)
1144 {
1145     OSSL_STORE_INFO *result = NULL;
1146
1147     ctx->errcnt = 0;
1148     ERR_clear_error();
1149
1150     if (ctx->type == is_dir) {
1151         do {
1152             char *newname = NULL;
1153
1154             if (ctx->_.dir.last_entry == NULL) {
1155                 if (!ctx->_.dir.end_reached) {
1156                     char errbuf[256];
1157                     assert(ctx->_.dir.last_errno != 0);
1158                     errno = ctx->_.dir.last_errno;
1159                     ctx->errcnt++;
1160                     openssl_strerror_r(errno, errbuf, sizeof(errbuf));
1161                     OSSL_STOREerr(OSSL_STORE_F_FILE_LOAD, ERR_R_SYS_LIB);
1162                     ERR_add_error_data(1, errbuf);
1163                 }
1164                 return NULL;
1165             }
1166
1167             if (ctx->_.dir.last_entry[0] != '.'
1168                 && !file_name_to_uri(ctx, ctx->_.dir.last_entry, &newname))
1169                 return NULL;
1170
1171             /*
1172              * On the first call (with a NULL context), OPENSSL_DIR_read()
1173              * cares about the second argument.  On the following calls, it
1174              * only cares that it isn't NULL.  Therefore, we can safely give
1175              * it our URI here.
1176              */
1177             ctx->_.dir.last_entry = OPENSSL_DIR_read(&ctx->_.dir.ctx,
1178                                                      ctx->_.dir.uri);
1179             ctx->_.dir.last_errno = errno;
1180             if (ctx->_.dir.last_entry == NULL && ctx->_.dir.last_errno == 0)
1181                 ctx->_.dir.end_reached = 1;
1182
1183             if (newname != NULL
1184                 && (result = OSSL_STORE_INFO_new_NAME(newname)) == NULL) {
1185                 OPENSSL_free(newname);
1186                 OSSL_STOREerr(OSSL_STORE_F_FILE_LOAD, ERR_R_OSSL_STORE_LIB);
1187                 return NULL;
1188             }
1189         } while (result == NULL && !file_eof(ctx));
1190     } else {
1191         int matchcount = -1;
1192
1193      again:
1194         result = file_load_try_repeat(ctx, ui_method, ui_data);
1195         if (result != NULL)
1196             return result;
1197
1198         if (file_eof(ctx))
1199             return NULL;
1200
1201         do {
1202             char *pem_name = NULL;      /* PEM record name */
1203             char *pem_header = NULL;    /* PEM record header */
1204             unsigned char *data = NULL; /* DER encoded data */
1205             long len = 0;               /* DER encoded data length */
1206
1207             matchcount = -1;
1208             if (ctx->type == is_pem) {
1209                 if (!file_read_pem(ctx->_.file.file, &pem_name, &pem_header,
1210                                    &data, &len, ui_method, ui_data,
1211                                    (ctx->flags & FILE_FLAG_SECMEM) != 0)) {
1212                     ctx->errcnt++;
1213                     goto endloop;
1214                 }
1215             } else {
1216                 if (!file_read_asn1(ctx->_.file.file, &data, &len)) {
1217                     ctx->errcnt++;
1218                     goto endloop;
1219                 }
1220             }
1221
1222             result = file_load_try_decode(ctx, pem_name, pem_header, data, len,
1223                                           ui_method, ui_data, &matchcount);
1224
1225             if (result != NULL)
1226                 goto endloop;
1227
1228             /*
1229              * If a PEM name matches more than one handler, the handlers are
1230              * badly coded.
1231              */
1232             if (!ossl_assert(pem_name == NULL || matchcount <= 1)) {
1233                 ctx->errcnt++;
1234                 goto endloop;
1235             }
1236
1237             if (matchcount > 1) {
1238                 OSSL_STOREerr(OSSL_STORE_F_FILE_LOAD,
1239                               OSSL_STORE_R_AMBIGUOUS_CONTENT_TYPE);
1240             } else if (matchcount == 1) {
1241                 /*
1242                  * If there are other errors on the stack, they already show
1243                  * what the problem is.
1244                  */
1245                 if (ERR_peek_error() == 0) {
1246                     OSSL_STOREerr(OSSL_STORE_F_FILE_LOAD,
1247                                   OSSL_STORE_R_UNSUPPORTED_CONTENT_TYPE);
1248                     if (pem_name != NULL)
1249                         ERR_add_error_data(3, "PEM type is '", pem_name, "'");
1250                 }
1251             }
1252             if (matchcount > 0)
1253                 ctx->errcnt++;
1254
1255          endloop:
1256             pem_free_flag(pem_name, (ctx->flags & FILE_FLAG_SECMEM) != 0, 0);
1257             pem_free_flag(pem_header, (ctx->flags & FILE_FLAG_SECMEM) != 0, 0);
1258             pem_free_flag(data, (ctx->flags & FILE_FLAG_SECMEM) != 0, len);
1259         } while (matchcount == 0 && !file_eof(ctx) && !file_error(ctx));
1260
1261         /* We bail out on ambiguity */
1262         if (matchcount > 1)
1263             return NULL;
1264
1265         if (result != NULL
1266             && ctx->expected_type != 0
1267             && ctx->expected_type != OSSL_STORE_INFO_get_type(result)) {
1268             OSSL_STORE_INFO_free(result);
1269             goto again;
1270         }
1271     }
1272
1273     return result;
1274 }
1275
1276 static int file_error(OSSL_STORE_LOADER_CTX *ctx)
1277 {
1278     return ctx->errcnt > 0;
1279 }
1280
1281 static int file_eof(OSSL_STORE_LOADER_CTX *ctx)
1282 {
1283     if (ctx->type == is_dir)
1284         return ctx->_.dir.end_reached;
1285
1286     if (ctx->_.file.last_handler != NULL
1287         && !ctx->_.file.last_handler->eof(ctx->_.file.last_handler_ctx))
1288         return 0;
1289     return BIO_eof(ctx->_.file.file);
1290 }
1291
1292 static int file_close(OSSL_STORE_LOADER_CTX *ctx)
1293 {
1294     if (ctx->type == is_dir) {
1295         OPENSSL_DIR_end(&ctx->_.dir.ctx);
1296     } else {
1297         BIO_free_all(ctx->_.file.file);
1298     }
1299     OSSL_STORE_LOADER_CTX_free(ctx);
1300     return 1;
1301 }
1302
1303 int ossl_store_file_detach_pem_bio_int(OSSL_STORE_LOADER_CTX *ctx)
1304 {
1305     OSSL_STORE_LOADER_CTX_free(ctx);
1306     return 1;
1307 }
1308
1309 static OSSL_STORE_LOADER file_loader =
1310     {
1311         "file",
1312         NULL,
1313         file_open,
1314         file_ctrl,
1315         file_expect,
1316         NULL,
1317         file_load,
1318         file_eof,
1319         file_error,
1320         file_close
1321     };
1322
1323 static void store_file_loader_deinit(void)
1324 {
1325     ossl_store_unregister_loader_int(file_loader.scheme);
1326 }
1327
1328 int ossl_store_file_loader_init(void)
1329 {
1330     int ret = ossl_store_register_loader_int(&file_loader);
1331
1332     OPENSSL_atexit(store_file_loader_deinit);
1333     return ret;
1334 }