crypto/http/http_client.c

   1 /*
   2  * Copyright 2001-2022 The OpenSSL Project Authors. All Rights Reserved.
   3  * Copyright Siemens AG 2018-2020
   4  *
   5  * Licensed under the Apache License 2.0 (the "License").  You may not use
   6  * this file except in compliance with the License.  You can obtain a copy
   7  * in the file LICENSE in the source distribution or at
   8  * https://www.openssl.org/source/license.html
   9  */
  10
  11 #include "internal/e_os.h"
  12 #include <stdio.h>
  13 #include <stdlib.h>
  14 #include "crypto/ctype.h"
  15 #include <string.h>
  16 #include <openssl/asn1.h>
  17 #include <openssl/evp.h>
  18 #include <openssl/err.h>
  19 #include <openssl/httperr.h>
  20 #include <openssl/cmperr.h>
  21 #include <openssl/buffer.h>
  22 #include <openssl/http.h>
  23 #include <openssl/trace.h>
  24 #include "internal/sockets.h"
  25 #include "internal/common.h" /* for ossl_assert() */
  26
  27 #define HTTP_PREFIX "HTTP/"
  28 #define HTTP_VERSION_PATT "1." /* allow 1.x */
  29 #define HTTP_VERSION_STR_LEN sizeof(HTTP_VERSION_PATT) /* == strlen("1.0") */
  30 #define HTTP_PREFIX_VERSION HTTP_PREFIX""HTTP_VERSION_PATT
  31 #define HTTP_1_0 HTTP_PREFIX_VERSION"0" /* "HTTP/1.0" */
  32 #define HTTP_LINE1_MINLEN (sizeof(HTTP_PREFIX_VERSION "x 200\n") - 1)
  33 #define HTTP_VERSION_MAX_REDIRECTIONS 50
  34
  35 #define HTTP_STATUS_CODE_OK                200
  36 #define HTTP_STATUS_CODE_MOVED_PERMANENTLY 301
  37 #define HTTP_STATUS_CODE_FOUND             302
  38
  39 /* Stateful HTTP request code, supporting blocking and non-blocking I/O */
  40
  41 /* Opaque HTTP request status structure */
  42
  43 struct ossl_http_req_ctx_st {
  44     int state;                  /* Current I/O state */
  45     unsigned char *buf;         /* Buffer to write request or read response */
  46     int buf_size;               /* Buffer size */
  47     int free_wbio;              /* wbio allocated internally, free with ctx */
  48     BIO *wbio;                  /* BIO to write/send request to */
  49     BIO *rbio;                  /* BIO to read/receive response from */
  50     OSSL_HTTP_bio_cb_t upd_fn;  /* Optional BIO update callback used for TLS */
  51     void *upd_arg;              /* Optional arg for update callback function */
  52     int use_ssl;                /* Use HTTPS */
  53     char *proxy;                /* Optional proxy name or URI */
  54     char *server;               /* Optional server host name */
  55     char *port;                 /* Optional server port */
  56     BIO *mem;                   /* Memory BIO holding request/response header */
  57     BIO *req;                   /* BIO holding the request provided by caller */
  58     int method_POST;            /* HTTP method is POST (else GET) */
  59     char *expected_ct;          /* Optional expected Content-Type */
  60     int expect_asn1;            /* Response must be ASN.1-encoded */
  61     unsigned char *pos;         /* Current position sending data */
  62     long len_to_send;           /* Number of bytes still to send */
  63     size_t resp_len;            /* Length of response */
  64     size_t max_resp_len;        /* Maximum length of response, or 0 */
  65     int keep_alive;             /* Persistent conn. 0=no, 1=prefer, 2=require */
  66     time_t max_time;            /* Maximum end time of current transfer, or 0 */
  67     time_t max_total_time;      /* Maximum end time of total transfer, or 0 */
  68     char *redirection_url;      /* Location obtained from HTTP status 301/302 */
  69 };
  70
  71 /* HTTP states */
  72
  73 #define OHS_NOREAD         0x1000 /* If set no reading should be performed */
  74 #define OHS_ERROR          (0 | OHS_NOREAD) /* Error condition */
  75 #define OHS_ADD_HEADERS    (1 | OHS_NOREAD) /* Adding header lines to request */
  76 #define OHS_WRITE_INIT     (2 | OHS_NOREAD) /* 1st call: ready to start send */
  77 #define OHS_WRITE_HDR      (3 | OHS_NOREAD) /* Request header being sent */
  78 #define OHS_WRITE_REQ      (4 | OHS_NOREAD) /* Request contents being sent */
  79 #define OHS_FLUSH          (5 | OHS_NOREAD) /* Request being flushed */
  80 #define OHS_FIRSTLINE       1 /* First line of response being read */
  81 #define OHS_HEADERS         2 /* MIME headers of response being read */
  82 #define OHS_REDIRECT        3 /* MIME headers being read, expecting Location */
  83 #define OHS_ASN1_HEADER     4 /* ASN1 sequence header (tag+length) being read */
  84 #define OHS_ASN1_CONTENT    5 /* ASN1 content octets being read */
  85 #define OHS_ASN1_DONE      (6 | OHS_NOREAD) /* ASN1 content read completed */
  86 #define OHS_STREAM         (7 | OHS_NOREAD) /* HTTP content stream to be read */
  87
  88 /* Low-level HTTP API implementation */
  89
  90 OSSL_HTTP_REQ_CTX *OSSL_HTTP_REQ_CTX_new(BIO *wbio, BIO *rbio, int buf_size)
  91 {
  92     OSSL_HTTP_REQ_CTX *rctx;
  93
  94     if (wbio == NULL || rbio == NULL) {
  95         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
  96         return NULL;
  97     }
  98
  99     if ((rctx = OPENSSL_zalloc(sizeof(*rctx))) == NULL)
 100         return NULL;
 101     rctx->state = OHS_ERROR;
 102     rctx->buf_size = buf_size > 0 ? buf_size : OSSL_HTTP_DEFAULT_MAX_LINE_LEN;
 103     rctx->buf = OPENSSL_malloc(rctx->buf_size);
 104     rctx->wbio = wbio;
 105     rctx->rbio = rbio;
 106     if (rctx->buf == NULL) {
 107         OPENSSL_free(rctx);
 108         return NULL;
 109     }
 110     rctx->max_resp_len = OSSL_HTTP_DEFAULT_MAX_RESP_LEN;
 111     /* everything else is 0, e.g. rctx->len_to_send, or NULL, e.g. rctx->mem  */
 112     return rctx;
 113 }
 114
 115 void OSSL_HTTP_REQ_CTX_free(OSSL_HTTP_REQ_CTX *rctx)
 116 {
 117     if (rctx == NULL)
 118         return;
 119     /*
 120      * Use BIO_free_all() because bio_update_fn may prepend or append to cbio.
 121      * This also frees any (e.g., SSL/TLS) BIOs linked with bio and,
 122      * like BIO_reset(bio), calls SSL_shutdown() to notify/alert the peer.
 123      */
 124     if (rctx->free_wbio)
 125         BIO_free_all(rctx->wbio);
 126     /* do not free rctx->rbio */
 127     BIO_free(rctx->mem);
 128     BIO_free(rctx->req);
 129     OPENSSL_free(rctx->buf);
 130     OPENSSL_free(rctx->proxy);
 131     OPENSSL_free(rctx->server);
 132     OPENSSL_free(rctx->port);
 133     OPENSSL_free(rctx->expected_ct);
 134     OPENSSL_free(rctx);
 135 }
 136
 137 BIO *OSSL_HTTP_REQ_CTX_get0_mem_bio(const OSSL_HTTP_REQ_CTX *rctx)
 138 {
 139     if (rctx == NULL) {
 140         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
 141         return NULL;
 142     }
 143     return rctx->mem;
 144 }
 145
 146 size_t OSSL_HTTP_REQ_CTX_get_resp_len(const OSSL_HTTP_REQ_CTX *rctx)
 147 {
 148     if (rctx == NULL) {
 149         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
 150         return 0;
 151     }
 152     return rctx->resp_len;
 153 }
 154
 155 void OSSL_HTTP_REQ_CTX_set_max_response_length(OSSL_HTTP_REQ_CTX *rctx,
 156                                                unsigned long len)
 157 {
 158     if (rctx == NULL) {
 159         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
 160         return;
 161     }
 162     rctx->max_resp_len = len != 0 ? (size_t)len : OSSL_HTTP_DEFAULT_MAX_RESP_LEN;
 163 }
 164
 165 /*
 166  * Create request line using |rctx| and |path| (or "/" in case |path| is NULL).
 167  * Server name (and port) must be given if and only if plain HTTP proxy is used.
 168  */
 169 int OSSL_HTTP_REQ_CTX_set_request_line(OSSL_HTTP_REQ_CTX *rctx, int method_POST,
 170                                        const char *server, const char *port,
 171                                        const char *path)
 172 {
 173     if (rctx == NULL) {
 174         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
 175         return 0;
 176     }
 177     BIO_free(rctx->mem);
 178     if ((rctx->mem = BIO_new(BIO_s_mem())) == NULL)
 179         return 0;
 180
 181     rctx->method_POST = method_POST != 0;
 182     if (BIO_printf(rctx->mem, "%s ", rctx->method_POST ? "POST" : "GET") <= 0)
 183         return 0;
 184
 185     if (server != NULL) { /* HTTP (but not HTTPS) proxy is used */
 186         /*
 187          * Section 5.1.2 of RFC 1945 states that the absoluteURI form is only
 188          * allowed when using a proxy
 189          */
 190         if (BIO_printf(rctx->mem, OSSL_HTTP_PREFIX"%s", server) <= 0)
 191             return 0;
 192         if (port != NULL && BIO_printf(rctx->mem, ":%s", port) <= 0)
 193             return 0;
 194     }
 195
 196     /* Make sure path includes a forward slash */
 197     if (path == NULL)
 198         path = "/";
 199     if (path[0] != '/' && BIO_printf(rctx->mem, "/") <= 0)
 200         return 0;
 201     /*
 202      * Add (the rest of) the path and the HTTP version,
 203      * which is fixed to 1.0 for straightforward implementation of keep-alive
 204      */
 205     if (BIO_printf(rctx->mem, "%s "HTTP_1_0"\r\n", path) <= 0)
 206         return 0;
 207
 208     rctx->resp_len = 0;
 209     rctx->state = OHS_ADD_HEADERS;
 210     return 1;
 211 }
 212
 213 int OSSL_HTTP_REQ_CTX_add1_header(OSSL_HTTP_REQ_CTX *rctx,
 214                                   const char *name, const char *value)
 215 {
 216     if (rctx == NULL || name == NULL) {
 217         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
 218         return 0;
 219     }
 220     if (rctx->mem == NULL) {
 221         ERR_raise(ERR_LIB_HTTP, ERR_R_SHOULD_NOT_HAVE_BEEN_CALLED);
 222         return 0;
 223     }
 224
 225     if (BIO_puts(rctx->mem, name) <= 0)
 226         return 0;
 227     if (value != NULL) {
 228         if (BIO_write(rctx->mem, ": ", 2) != 2)
 229             return 0;
 230         if (BIO_puts(rctx->mem, value) <= 0)
 231             return 0;
 232     }
 233     return BIO_write(rctx->mem, "\r\n", 2) == 2;
 234 }
 235
 236 int OSSL_HTTP_REQ_CTX_set_expected(OSSL_HTTP_REQ_CTX *rctx,
 237                                    const char *content_type, int asn1,
 238                                    int timeout, int keep_alive)
 239 {
 240     if (rctx == NULL) {
 241         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
 242         return 0;
 243     }
 244     if (keep_alive != 0
 245             && rctx->state != OHS_ERROR && rctx->state != OHS_ADD_HEADERS) {
 246         /* Cannot anymore set keep-alive in request header */
 247         ERR_raise(ERR_LIB_HTTP, ERR_R_SHOULD_NOT_HAVE_BEEN_CALLED);
 248         return 0;
 249     }
 250
 251     OPENSSL_free(rctx->expected_ct);
 252     rctx->expected_ct = NULL;
 253     if (content_type != NULL
 254             && (rctx->expected_ct = OPENSSL_strdup(content_type)) == NULL)
 255         return 0;
 256
 257     rctx->expect_asn1 = asn1;
 258     if (timeout >= 0)
 259         rctx->max_time = timeout > 0 ? time(NULL) + timeout : 0;
 260     else /* take over any |overall_timeout| arg of OSSL_HTTP_open(), else 0 */
 261         rctx->max_time = rctx->max_total_time;
 262     rctx->keep_alive = keep_alive;
 263     return 1;
 264 }
 265
 266 static int set1_content(OSSL_HTTP_REQ_CTX *rctx,
 267                         const char *content_type, BIO *req)
 268 {
 269     long req_len;
 270
 271     if (rctx == NULL || (req == NULL && content_type != NULL)) {
 272         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
 273         return 0;
 274     }
 275
 276     if (rctx->keep_alive != 0
 277             && !OSSL_HTTP_REQ_CTX_add1_header(rctx, "Connection", "keep-alive"))
 278         return 0;
 279
 280     BIO_free(rctx->req);
 281     rctx->req = NULL;
 282     if (req == NULL)
 283         return 1;
 284     if (!rctx->method_POST) {
 285         ERR_raise(ERR_LIB_HTTP, ERR_R_SHOULD_NOT_HAVE_BEEN_CALLED);
 286         return 0;
 287     }
 288
 289     if (content_type != NULL
 290             && BIO_printf(rctx->mem, "Content-Type: %s\r\n", content_type) <= 0)
 291         return 0;
 292
 293     /* streaming BIO may not support querying size */
 294     if (((req_len = BIO_ctrl(req, BIO_CTRL_INFO, 0, NULL)) <= 0
 295          || BIO_printf(rctx->mem, "Content-Length: %ld\r\n", req_len) > 0)
 296         && BIO_up_ref(req)) {
 297         rctx->req = req;
 298         return 1;
 299     }
 300     return 0;
 301 }
 302
 303 int OSSL_HTTP_REQ_CTX_set1_req(OSSL_HTTP_REQ_CTX *rctx, const char *content_type,
 304                                const ASN1_ITEM *it, const ASN1_VALUE *req)
 305 {
 306     BIO *mem = NULL;
 307     int res = 1;
 308
 309     if (req != NULL)
 310         res = (mem = ASN1_item_i2d_mem_bio(it, req)) != NULL;
 311     res = res && set1_content(rctx, content_type, mem);
 312     BIO_free(mem);
 313     return res;
 314 }
 315
 316 static int add1_headers(OSSL_HTTP_REQ_CTX *rctx,
 317                         const STACK_OF(CONF_VALUE) *headers, const char *host)
 318 {
 319     int i;
 320     int add_host = host != NULL && *host != '\0';
 321     CONF_VALUE *hdr;
 322
 323     for (i = 0; i < sk_CONF_VALUE_num(headers); i++) {
 324         hdr = sk_CONF_VALUE_value(headers, i);
 325         if (add_host && OPENSSL_strcasecmp("host", hdr->name) == 0)
 326             add_host = 0;
 327         if (!OSSL_HTTP_REQ_CTX_add1_header(rctx, hdr->name, hdr->value))
 328             return 0;
 329     }
 330
 331     if (add_host && !OSSL_HTTP_REQ_CTX_add1_header(rctx, "Host", host))
 332         return 0;
 333     return 1;
 334 }
 335
 336 /* Create OSSL_HTTP_REQ_CTX structure using the values provided. */
 337 static OSSL_HTTP_REQ_CTX *http_req_ctx_new(int free_wbio, BIO *wbio, BIO *rbio,
 338                                            OSSL_HTTP_bio_cb_t bio_update_fn,
 339                                            void *arg, int use_ssl,
 340                                            const char *proxy,
 341                                            const char *server, const char *port,
 342                                            int buf_size, int overall_timeout)
 343 {
 344     OSSL_HTTP_REQ_CTX *rctx = OSSL_HTTP_REQ_CTX_new(wbio, rbio, buf_size);
 345
 346     if (rctx == NULL)
 347         return NULL;
 348     rctx->free_wbio = free_wbio;
 349     rctx->upd_fn = bio_update_fn;
 350     rctx->upd_arg = arg;
 351     rctx->use_ssl = use_ssl;
 352     if (proxy != NULL
 353             && (rctx->proxy = OPENSSL_strdup(proxy)) == NULL)
 354         goto err;
 355     if (server != NULL
 356             && (rctx->server = OPENSSL_strdup(server)) == NULL)
 357         goto err;
 358     if (port != NULL
 359             && (rctx->port = OPENSSL_strdup(port)) == NULL)
 360         goto err;
 361     rctx->max_total_time =
 362         overall_timeout > 0 ? time(NULL) + overall_timeout : 0;
 363     return rctx;
 364
 365  err:
 366     OSSL_HTTP_REQ_CTX_free(rctx);
 367     return NULL;
 368 }
 369
 370 /*
 371  * Parse first HTTP response line. This should be like this: "HTTP/1.0 200 OK".
 372  * We need to obtain the status code and (optional) informational message.
 373  * Return any received HTTP response status code, or 0 on fatal error.
 374  */
 375
 376 static int parse_http_line1(char *line, int *found_keep_alive)
 377 {
 378     int i, retcode, err;
 379     char *code, *reason, *end;
 380
 381     if (!CHECK_AND_SKIP_PREFIX(line, HTTP_PREFIX_VERSION))
 382         goto err;
 383     /* above HTTP 1.0, connection persistence is the default */
 384     *found_keep_alive = *line > '0';
 385
 386     /* Skip to first whitespace (past protocol info) */
 387     for (code = line; *code != '\0' && !ossl_isspace(*code); code++)
 388         continue;
 389     if (*code == '\0')
 390         goto err;
 391
 392     /* Skip past whitespace to start of response code */
 393     while (*code != '\0' && ossl_isspace(*code))
 394         code++;
 395     if (*code == '\0')
 396         goto err;
 397
 398     /* Find end of response code: first whitespace after start of code */
 399     for (reason = code; *reason != '\0' && !ossl_isspace(*reason); reason++)
 400         continue;
 401
 402     if (*reason == '\0')
 403         goto err;
 404
 405     /* Set end of response code and start of message */
 406     *reason++ = '\0';
 407
 408     /* Attempt to parse numeric code */
 409     retcode = strtoul(code, &end, 10);
 410     if (*end != '\0')
 411         goto err;
 412
 413     /* Skip over any leading whitespace in message */
 414     while (*reason != '\0' && ossl_isspace(*reason))
 415         reason++;
 416
 417     if (*reason != '\0') {
 418         /*
 419          * Finally zap any trailing whitespace in message (include CRLF)
 420          */
 421
 422         /* chop any trailing whitespace from reason */
 423         /* We know reason has a non-whitespace character so this is OK */
 424         for (end = reason + strlen(reason) - 1; ossl_isspace(*end); end--)
 425             *end = '\0';
 426     }
 427
 428     switch (retcode) {
 429     case HTTP_STATUS_CODE_OK:
 430     case HTTP_STATUS_CODE_MOVED_PERMANENTLY:
 431     case HTTP_STATUS_CODE_FOUND:
 432         return retcode;
 433     default:
 434         err = HTTP_R_RECEIVED_ERROR;
 435         if (retcode < 400)
 436             err = HTTP_R_STATUS_CODE_UNSUPPORTED;
 437         if (*reason == '\0')
 438             ERR_raise_data(ERR_LIB_HTTP, err, "code=%s", code);
 439         else
 440             ERR_raise_data(ERR_LIB_HTTP, err, "code=%s, reason=%s", code,
 441                            reason);
 442         return retcode;
 443     }
 444
 445  err:
 446     for (i = 0; i < 60 && line[i] != '\0'; i++)
 447         if (!ossl_isprint(line[i]))
 448             line[i] = ' ';
 449     line[i] = '\0';
 450     ERR_raise_data(ERR_LIB_HTTP, HTTP_R_HEADER_PARSE_ERROR, "content=%s", line);
 451     return 0;
 452 }
 453
 454 static int check_set_resp_len(OSSL_HTTP_REQ_CTX *rctx, size_t len)
 455 {
 456     if (rctx->max_resp_len != 0 && len > rctx->max_resp_len)
 457         ERR_raise_data(ERR_LIB_HTTP, HTTP_R_MAX_RESP_LEN_EXCEEDED,
 458                        "length=%zu, max=%zu", len, rctx->max_resp_len);
 459     if (rctx->resp_len != 0 && rctx->resp_len != len)
 460         ERR_raise_data(ERR_LIB_HTTP, HTTP_R_INCONSISTENT_CONTENT_LENGTH,
 461                        "ASN.1 length=%zu, Content-Length=%zu",
 462                        len, rctx->resp_len);
 463     rctx->resp_len = len;
 464     return 1;
 465 }
 466
 467 static int may_still_retry(time_t max_time, int *ptimeout)
 468 {
 469     time_t time_diff, now = time(NULL);
 470
 471     if (max_time != 0) {
 472         if (max_time < now) {
 473             ERR_raise(ERR_LIB_HTTP, HTTP_R_RETRY_TIMEOUT);
 474             return 0;
 475         }
 476         time_diff = max_time - now;
 477         *ptimeout = time_diff > INT_MAX ? INT_MAX : (int)time_diff;
 478     }
 479     return 1;
 480 }
 481
 482 /*
 483  * Try exchanging request and response via HTTP on (non-)blocking BIO in rctx.
 484  * Returns 1 on success, 0 on error or redirection, -1 on BIO_should_retry.
 485  */
 486 int OSSL_HTTP_REQ_CTX_nbio(OSSL_HTTP_REQ_CTX *rctx)
 487 {
 488     int i, found_expected_ct = 0, found_keep_alive = 0;
 489     int found_text_ct = 0;
 490     long n;
 491     size_t resp_len;
 492     const unsigned char *p;
 493     char *buf, *key, *value, *line_end = NULL;
 494
 495     if (rctx == NULL) {
 496         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
 497         return 0;
 498     }
 499     if (rctx->mem == NULL || rctx->wbio == NULL || rctx->rbio == NULL) {
 500         ERR_raise(ERR_LIB_HTTP, ERR_R_SHOULD_NOT_HAVE_BEEN_CALLED);
 501         return 0;
 502     }
 503
 504     rctx->redirection_url = NULL;
 505  next_io:
 506     buf = (char *)rctx->buf;
 507     if ((rctx->state & OHS_NOREAD) == 0) {
 508         if (rctx->expect_asn1) {
 509             n = BIO_read(rctx->rbio, rctx->buf, rctx->buf_size);
 510         } else {
 511             (void)ERR_set_mark();
 512             n = BIO_gets(rctx->rbio, buf, rctx->buf_size);
 513             if (n == -2) { /* some BIOs, such as SSL, do not support "gets" */
 514                 (void)ERR_pop_to_mark();
 515                 n = BIO_get_line(rctx->rbio, buf, rctx->buf_size);
 516             } else {
 517                 (void)ERR_clear_last_mark();
 518             }
 519         }
 520         if (n <= 0) {
 521             if (BIO_should_retry(rctx->rbio))
 522                 return -1;
 523             ERR_raise(ERR_LIB_HTTP, HTTP_R_FAILED_READING_DATA);
 524             return 0;
 525         }
 526
 527         /* Write data to memory BIO */
 528         if (BIO_write(rctx->mem, rctx->buf, n) != n)
 529             return 0;
 530     }
 531
 532     switch (rctx->state) {
 533     case OHS_ADD_HEADERS:
 534         /* Last operation was adding headers: need a final \r\n */
 535         if (BIO_write(rctx->mem, "\r\n", 2) != 2) {
 536             rctx->state = OHS_ERROR;
 537             return 0;
 538         }
 539         rctx->state = OHS_WRITE_INIT;
 540
 541         /* fall thru */
 542     case OHS_WRITE_INIT:
 543         rctx->len_to_send = BIO_get_mem_data(rctx->mem, &rctx->pos);
 544         rctx->state = OHS_WRITE_HDR;
 545         if (OSSL_TRACE_ENABLED(HTTP))
 546             OSSL_TRACE(HTTP, "Sending request header:\n");
 547
 548         /* fall thru */
 549     case OHS_WRITE_HDR:
 550         /* Copy some chunk of data from rctx->mem to rctx->wbio */
 551     case OHS_WRITE_REQ:
 552         /* Copy some chunk of data from rctx->req to rctx->wbio */
 553
 554         if (rctx->len_to_send > 0) {
 555             if (OSSL_TRACE_ENABLED(HTTP)
 556                 && rctx->state == OHS_WRITE_HDR && rctx->len_to_send <= INT_MAX)
 557                 OSSL_TRACE2(HTTP, "%.*s", (int)rctx->len_to_send, rctx->pos);
 558
 559             i = BIO_write(rctx->wbio, rctx->pos, rctx->len_to_send);
 560             if (i <= 0) {
 561                 if (BIO_should_retry(rctx->wbio))
 562                     return -1;
 563                 rctx->state = OHS_ERROR;
 564                 return 0;
 565             }
 566             rctx->pos += i;
 567             rctx->len_to_send -= i;
 568             goto next_io;
 569         }
 570         if (rctx->state == OHS_WRITE_HDR) {
 571             (void)BIO_reset(rctx->mem);
 572             rctx->state = OHS_WRITE_REQ;
 573         }
 574         if (rctx->req != NULL && !BIO_eof(rctx->req)) {
 575             n = BIO_read(rctx->req, rctx->buf, rctx->buf_size);
 576             if (n <= 0) {
 577                 if (BIO_should_retry(rctx->rbio))
 578                     return -1;
 579                 ERR_raise(ERR_LIB_HTTP, HTTP_R_FAILED_READING_DATA);
 580                 return 0;
 581             }
 582             rctx->pos = rctx->buf;
 583             rctx->len_to_send = n;
 584             goto next_io;
 585         }
 586         rctx->state = OHS_FLUSH;
 587
 588         /* fall thru */
 589     case OHS_FLUSH:
 590
 591         i = BIO_flush(rctx->wbio);
 592
 593         if (i > 0) {
 594             rctx->state = OHS_FIRSTLINE;
 595             goto next_io;
 596         }
 597
 598         if (BIO_should_retry(rctx->wbio))
 599             return -1;
 600
 601         rctx->state = OHS_ERROR;
 602         return 0;
 603
 604     case OHS_ERROR:
 605         return 0;
 606
 607     case OHS_FIRSTLINE:
 608     case OHS_HEADERS:
 609     case OHS_REDIRECT:
 610
 611         /* Attempt to read a line in */
 612  next_line:
 613         /*
 614          * Due to strange memory BIO behavior with BIO_gets we have to check
 615          * there's a complete line in there before calling BIO_gets or we'll
 616          * just get a partial read.
 617          */
 618         n = BIO_get_mem_data(rctx->mem, &p);
 619         if (n <= 0 || memchr(p, '\n', n) == 0) {
 620             if (n >= rctx->buf_size) {
 621                 rctx->state = OHS_ERROR;
 622                 return 0;
 623             }
 624             goto next_io;
 625         }
 626         n = BIO_gets(rctx->mem, buf, rctx->buf_size);
 627
 628         if (n <= 0) {
 629             if (BIO_should_retry(rctx->mem))
 630                 goto next_io;
 631             rctx->state = OHS_ERROR;
 632             return 0;
 633         }
 634
 635         /* Don't allow excessive lines */
 636         if (n == rctx->buf_size) {
 637             ERR_raise(ERR_LIB_HTTP, HTTP_R_RESPONSE_LINE_TOO_LONG);
 638             rctx->state = OHS_ERROR;
 639             return 0;
 640         }
 641
 642         /* dump all response header lines */
 643         if (OSSL_TRACE_ENABLED(HTTP)) {
 644             if (rctx->state == OHS_FIRSTLINE)
 645                 OSSL_TRACE(HTTP, "Received response header:\n");
 646             OSSL_TRACE1(HTTP, "%s", buf);
 647         }
 648
 649         /* First line */
 650         if (rctx->state == OHS_FIRSTLINE) {
 651             switch (parse_http_line1(buf, &found_keep_alive)) {
 652             case HTTP_STATUS_CODE_OK:
 653                 rctx->state = OHS_HEADERS;
 654                 goto next_line;
 655             case HTTP_STATUS_CODE_MOVED_PERMANENTLY:
 656             case HTTP_STATUS_CODE_FOUND: /* i.e., moved temporarily */
 657                 if (!rctx->method_POST) { /* method is GET */
 658                     rctx->state = OHS_REDIRECT;
 659                     goto next_line;
 660                 }
 661                 ERR_raise(ERR_LIB_HTTP, HTTP_R_REDIRECTION_NOT_ENABLED);
 662                 /* redirection is not supported/recommended for POST */
 663                 /* fall through */
 664             default:
 665                 rctx->state = OHS_ERROR;
 666                 goto next_line;
 667             }
 668         }
 669         key = buf;
 670         value = strchr(key, ':');
 671         if (value != NULL) {
 672             *(value++) = '\0';
 673             while (ossl_isspace(*value))
 674                 value++;
 675             line_end = strchr(value, '\r');
 676             if (line_end == NULL)
 677                 line_end = strchr(value, '\n');
 678             if (line_end != NULL)
 679                 *line_end = '\0';
 680         }
 681         if (value != NULL && line_end != NULL) {
 682             if (rctx->state == OHS_REDIRECT
 683                     && OPENSSL_strcasecmp(key, "Location") == 0) {
 684                 rctx->redirection_url = value;
 685                 return 0;
 686             }
 687             if (OPENSSL_strcasecmp(key, "Content-Type") == 0) {
 688                 if (rctx->state == OHS_HEADERS
 689                     && rctx->expected_ct != NULL) {
 690                     if (OPENSSL_strcasecmp(rctx->expected_ct, value) != 0) {
 691                         ERR_raise_data(ERR_LIB_HTTP,
 692                                        HTTP_R_UNEXPECTED_CONTENT_TYPE,
 693                                        "expected=%s, actual=%s",
 694                                        rctx->expected_ct, value);
 695                         return 0;
 696                     }
 697                     found_expected_ct = 1;
 698                 }
 699                 if (OPENSSL_strncasecmp(value, "text/", 5) == 0)
 700                     found_text_ct = 1;
 701             }
 702
 703             /* https://tools.ietf.org/html/rfc7230#section-6.3 Persistence */
 704             if (OPENSSL_strcasecmp(key, "Connection") == 0) {
 705                 if (OPENSSL_strcasecmp(value, "keep-alive") == 0)
 706                     found_keep_alive = 1;
 707                 else if (OPENSSL_strcasecmp(value, "close") == 0)
 708                     found_keep_alive = 0;
 709             } else if (OPENSSL_strcasecmp(key, "Content-Length") == 0) {
 710                 resp_len = (size_t)strtoul(value, &line_end, 10);
 711                 if (line_end == value || *line_end != '\0') {
 712                     ERR_raise_data(ERR_LIB_HTTP,
 713                                    HTTP_R_ERROR_PARSING_CONTENT_LENGTH,
 714                                    "input=%s", value);
 715                     return 0;
 716                 }
 717                 if (!check_set_resp_len(rctx, resp_len))
 718                     return 0;
 719             }
 720         }
 721
 722         /* Look for blank line indicating end of headers */
 723         for (p = rctx->buf; *p != '\0'; p++) {
 724             if (*p != '\r' && *p != '\n')
 725                 break;
 726         }
 727         if (*p != '\0') /* not end of headers */
 728             goto next_line;
 729
 730         if (rctx->keep_alive != 0 /* do not let server initiate keep_alive */
 731                 && !found_keep_alive /* otherwise there is no change */) {
 732             if (rctx->keep_alive == 2) {
 733                 rctx->keep_alive = 0;
 734                 ERR_raise(ERR_LIB_HTTP, HTTP_R_SERVER_CANCELED_CONNECTION);
 735                 return 0;
 736             }
 737             rctx->keep_alive = 0;
 738         }
 739
 740         if (rctx->state == OHS_ERROR) {
 741             if (OSSL_TRACE_ENABLED(HTTP)
 742                     && found_text_ct && BIO_get_mem_data(rctx->mem, &p) > 0)
 743                 OSSL_TRACE1(HTTP, "%s", p);
 744             return 0;
 745         }
 746
 747         if (rctx->expected_ct != NULL && !found_expected_ct) {
 748             ERR_raise_data(ERR_LIB_HTTP, HTTP_R_MISSING_CONTENT_TYPE,
 749                            "expected=%s", rctx->expected_ct);
 750             return 0;
 751         }
 752         if (rctx->state == OHS_REDIRECT) {
 753             /* http status code indicated redirect but there was no Location */
 754             ERR_raise(ERR_LIB_HTTP, HTTP_R_MISSING_REDIRECT_LOCATION);
 755             return 0;
 756         }
 757
 758         if (!rctx->expect_asn1) {
 759             rctx->state = OHS_STREAM;
 760             return 1;
 761         }
 762
 763         rctx->state = OHS_ASN1_HEADER;
 764
 765         /* Fall thru */
 766     case OHS_ASN1_HEADER:
 767         /*
 768          * Now reading ASN1 header: can read at least 2 bytes which is enough
 769          * for ASN1 SEQUENCE header and either length field or at least the
 770          * length of the length field.
 771          */
 772         n = BIO_get_mem_data(rctx->mem, &p);
 773         if (n < 2)
 774             goto next_io;
 775
 776         /* Check it is an ASN1 SEQUENCE */
 777         if (*p++ != (V_ASN1_SEQUENCE | V_ASN1_CONSTRUCTED)) {
 778             ERR_raise(ERR_LIB_HTTP, HTTP_R_MISSING_ASN1_ENCODING);
 779             return 0;
 780         }
 781
 782         /* Check out length field */
 783         if ((*p & 0x80) != 0) {
 784             /*
 785              * If MSB set on initial length octet we can now always read 6
 786              * octets: make sure we have them.
 787              */
 788             if (n < 6)
 789                 goto next_io;
 790             n = *p & 0x7F;
 791             /* Not NDEF or excessive length */
 792             if (n == 0 || (n > 4)) {
 793                 ERR_raise(ERR_LIB_HTTP, HTTP_R_ERROR_PARSING_ASN1_LENGTH);
 794                 return 0;
 795             }
 796             p++;
 797             resp_len = 0;
 798             for (i = 0; i < n; i++) {
 799                 resp_len <<= 8;
 800                 resp_len |= *p++;
 801             }
 802             resp_len += n + 2;
 803         } else {
 804             resp_len = *p + 2;
 805         }
 806         if (!check_set_resp_len(rctx, resp_len))
 807             return 0;
 808
 809         rctx->state = OHS_ASN1_CONTENT;
 810
 811         /* Fall thru */
 812     case OHS_ASN1_CONTENT:
 813     default:
 814         n = BIO_get_mem_data(rctx->mem, NULL);
 815         if (n < 0 || (size_t)n < rctx->resp_len)
 816             goto next_io;
 817
 818         rctx->state = OHS_ASN1_DONE;
 819         return 1;
 820     }
 821 }
 822
 823 int OSSL_HTTP_REQ_CTX_nbio_d2i(OSSL_HTTP_REQ_CTX *rctx,
 824                                ASN1_VALUE **pval, const ASN1_ITEM *it)
 825 {
 826     const unsigned char *p;
 827     int rv;
 828
 829     *pval = NULL;
 830     if ((rv = OSSL_HTTP_REQ_CTX_nbio(rctx)) != 1)
 831         return rv;
 832     *pval = ASN1_item_d2i(NULL, &p, BIO_get_mem_data(rctx->mem, &p), it);
 833     return *pval != NULL;
 834
 835 }
 836
 837 #ifndef OPENSSL_NO_SOCK
 838
 839 /* set up a new connection BIO, to HTTP server or to HTTP(S) proxy if given */
 840 static BIO *http_new_bio(const char *server /* optionally includes ":port" */,
 841                          const char *server_port /* explicit server port */,
 842                          int use_ssl,
 843                          const char *proxy /* optionally includes ":port" */,
 844                          const char *proxy_port /* explicit proxy port */)
 845 {
 846     const char *host = server;
 847     const char *port = server_port;
 848     BIO *cbio;
 849
 850     if (!ossl_assert(server != NULL))
 851         return NULL;
 852
 853     if (proxy != NULL) {
 854         host = proxy;
 855         port = proxy_port;
 856     }
 857
 858     if (port == NULL && strchr(host, ':') == NULL)
 859         port = use_ssl ? OSSL_HTTPS_PORT : OSSL_HTTP_PORT;
 860
 861     cbio = BIO_new_connect(host /* optionally includes ":port" */);
 862     if (cbio == NULL)
 863         goto end;
 864     if (port != NULL)
 865         (void)BIO_set_conn_port(cbio, port);
 866
 867  end:
 868     return cbio;
 869 }
 870 #endif /* OPENSSL_NO_SOCK */
 871
 872 /* Exchange request and response via HTTP on (non-)blocking BIO */
 873 BIO *OSSL_HTTP_REQ_CTX_exchange(OSSL_HTTP_REQ_CTX *rctx)
 874 {
 875     int rv;
 876
 877     if (rctx == NULL) {
 878         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
 879         return NULL;
 880     }
 881
 882     for (;;) {
 883         rv = OSSL_HTTP_REQ_CTX_nbio(rctx);
 884         if (rv != -1)
 885             break;
 886         /* BIO_should_retry was true */
 887         /* will not actually wait if rctx->max_time == 0 */
 888         if (BIO_wait(rctx->rbio, rctx->max_time, 100 /* milliseconds */) <= 0)
 889             return NULL;
 890     }
 891
 892     if (rv == 0) {
 893         if (rctx->redirection_url == NULL) { /* an error occurred */
 894             if (rctx->len_to_send > 0)
 895                 ERR_raise(ERR_LIB_HTTP, HTTP_R_ERROR_SENDING);
 896             else
 897                 ERR_raise(ERR_LIB_HTTP, HTTP_R_ERROR_RECEIVING);
 898         }
 899         return NULL;
 900     }
 901     return rctx->state == OHS_STREAM ? rctx->rbio : rctx->mem;
 902 }
 903
 904 int OSSL_HTTP_is_alive(const OSSL_HTTP_REQ_CTX *rctx)
 905 {
 906     return rctx != NULL && rctx->keep_alive != 0;
 907 }
 908
 909 /* High-level HTTP API implementation */
 910
 911 /* Initiate an HTTP session using bio, else use given server, proxy, etc. */
 912 OSSL_HTTP_REQ_CTX *OSSL_HTTP_open(const char *server, const char *port,
 913                                   const char *proxy, const char *no_proxy,
 914                                   int use_ssl, BIO *bio, BIO *rbio,
 915                                   OSSL_HTTP_bio_cb_t bio_update_fn, void *arg,
 916                                   int buf_size, int overall_timeout)
 917 {
 918     BIO *cbio; /* == bio if supplied, used as connection BIO if rbio is NULL */
 919     OSSL_HTTP_REQ_CTX *rctx = NULL;
 920
 921     if (use_ssl && bio_update_fn == NULL) {
 922         ERR_raise(ERR_LIB_HTTP, HTTP_R_TLS_NOT_ENABLED);
 923         return NULL;
 924     }
 925     if (rbio != NULL && (bio == NULL || bio_update_fn != NULL)) {
 926         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_INVALID_ARGUMENT);
 927         return NULL;
 928     }
 929
 930     if (bio != NULL) {
 931         cbio = bio;
 932         if (proxy != NULL || no_proxy != NULL) {
 933             ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_INVALID_ARGUMENT);
 934             return NULL;
 935         }
 936     } else {
 937 #ifndef OPENSSL_NO_SOCK
 938         char *proxy_host = NULL, *proxy_port = NULL;
 939
 940         if (server == NULL) {
 941             ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
 942             return NULL;
 943         }
 944         if (port != NULL && *port == '\0')
 945             port = NULL;
 946         if (port == NULL && strchr(server, ':') == NULL)
 947             port = use_ssl ? OSSL_HTTPS_PORT : OSSL_HTTP_PORT;
 948         proxy = OSSL_HTTP_adapt_proxy(proxy, no_proxy, server, use_ssl);
 949         if (proxy != NULL
 950             && !OSSL_HTTP_parse_url(proxy, NULL /* use_ssl */, NULL /* user */,
 951                                     &proxy_host, &proxy_port, NULL /* num */,
 952                                     NULL /* path */, NULL, NULL))
 953             return NULL;
 954         cbio = http_new_bio(server, port, use_ssl, proxy_host, proxy_port);
 955         OPENSSL_free(proxy_host);
 956         OPENSSL_free(proxy_port);
 957         if (cbio == NULL)
 958             return NULL;
 959 #else
 960         ERR_raise(ERR_LIB_HTTP, HTTP_R_SOCK_NOT_SUPPORTED);
 961         return NULL;
 962 #endif
 963     }
 964
 965     (void)ERR_set_mark(); /* prepare removing any spurious libssl errors */
 966     if (rbio == NULL && BIO_do_connect_retry(cbio, overall_timeout, -1) <= 0) {
 967         if (bio == NULL) /* cbio was not provided by caller */
 968             BIO_free_all(cbio);
 969         goto end;
 970     }
 971     /* now overall_timeout is guaranteed to be >= 0 */
 972
 973     /* adapt in order to fix callback design flaw, see #17088 */
 974     /* callback can be used to wrap or prepend TLS session */
 975     if (bio_update_fn != NULL) {
 976         BIO *orig_bio = cbio;
 977
 978         cbio = (*bio_update_fn)(cbio, arg, 1 /* connect */, use_ssl);
 979         if (cbio == NULL) {
 980             if (bio == NULL) /* cbio was not provided by caller */
 981                 BIO_free_all(orig_bio);
 982             goto end;
 983         }
 984     }
 985
 986     rctx = http_req_ctx_new(bio == NULL, cbio, rbio != NULL ? rbio : cbio,
 987                             bio_update_fn, arg, use_ssl, proxy, server, port,
 988                             buf_size, overall_timeout);
 989
 990  end:
 991     if (rctx != NULL)
 992         /* remove any spurious error queue entries by ssl_add_cert_chain() */
 993         (void)ERR_pop_to_mark();
 994     else
 995         (void)ERR_clear_last_mark();
 996
 997     return rctx;
 998 }
 999
1000 int OSSL_HTTP_set1_request(OSSL_HTTP_REQ_CTX *rctx, const char *path,
1001                            const STACK_OF(CONF_VALUE) *headers,
1002                            const char *content_type, BIO *req,
1003                            const char *expected_content_type, int expect_asn1,
1004                            size_t max_resp_len, int timeout, int keep_alive)
1005 {
1006     int use_http_proxy;
1007
1008     if (rctx == NULL) {
1009         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
1010         return 0;
1011     }
1012     use_http_proxy = rctx->proxy != NULL && !rctx->use_ssl;
1013     if (use_http_proxy && rctx->server == NULL) {
1014         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_INVALID_ARGUMENT);
1015         return 0;
1016     }
1017     rctx->max_resp_len = max_resp_len; /* allows for 0: indefinite */
1018
1019     return OSSL_HTTP_REQ_CTX_set_request_line(rctx, req != NULL,
1020                                               use_http_proxy ? rctx->server
1021                                               : NULL, rctx->port, path)
1022         && add1_headers(rctx, headers, rctx->server)
1023         && OSSL_HTTP_REQ_CTX_set_expected(rctx, expected_content_type,
1024                                           expect_asn1, timeout, keep_alive)
1025         && set1_content(rctx, content_type, req);
1026 }
1027
1028 /*-
1029  * Exchange single HTTP request and response according to rctx.
1030  * If rctx->method_POST then use POST, else use GET and ignore content_type.
1031  * The redirection_url output (freed by caller) parameter is used only for GET.
1032  */
1033 BIO *OSSL_HTTP_exchange(OSSL_HTTP_REQ_CTX *rctx, char **redirection_url)
1034 {
1035     BIO *resp;
1036
1037     if (rctx == NULL) {
1038         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
1039         return NULL;
1040     }
1041
1042     if (redirection_url != NULL)
1043         *redirection_url = NULL; /* do this beforehand to prevent dbl free */
1044
1045     resp = OSSL_HTTP_REQ_CTX_exchange(rctx);
1046     if (resp == NULL) {
1047         if (rctx->redirection_url != NULL) {
1048             if (redirection_url == NULL)
1049                 ERR_raise(ERR_LIB_HTTP, HTTP_R_REDIRECTION_NOT_ENABLED);
1050             else
1051                 /* may be NULL if out of memory: */
1052                 *redirection_url = OPENSSL_strdup(rctx->redirection_url);
1053         } else {
1054             char buf[200];
1055             unsigned long err = ERR_peek_error();
1056             int lib = ERR_GET_LIB(err);
1057             int reason = ERR_GET_REASON(err);
1058
1059             if (lib == ERR_LIB_SSL || lib == ERR_LIB_HTTP
1060                     || (lib == ERR_LIB_BIO && reason == BIO_R_CONNECT_TIMEOUT)
1061                     || (lib == ERR_LIB_BIO && reason == BIO_R_CONNECT_ERROR)
1062 #ifndef OPENSSL_NO_CMP
1063                     || (lib == ERR_LIB_CMP
1064                         && reason == CMP_R_POTENTIALLY_INVALID_CERTIFICATE)
1065 #endif
1066                 ) {
1067                 if (rctx->server != NULL) {
1068                     BIO_snprintf(buf, sizeof(buf), "server=http%s://%s%s%s",
1069                                  rctx->use_ssl ? "s" : "", rctx->server,
1070                                  rctx->port != NULL ? ":" : "",
1071                                  rctx->port != NULL ? rctx->port : "");
1072                     ERR_add_error_data(1, buf);
1073                 }
1074                 if (rctx->proxy != NULL)
1075                     ERR_add_error_data(2, " proxy=", rctx->proxy);
1076                 if (err == 0) {
1077                     BIO_snprintf(buf, sizeof(buf), " peer has disconnected%s",
1078                                  rctx->use_ssl ? " violating the protocol" :
1079                                  ", likely because it requires the use of TLS");
1080                     ERR_add_error_data(1, buf);
1081                 }
1082             }
1083         }
1084     }
1085
1086     if (resp != NULL && !BIO_up_ref(resp))
1087         resp = NULL;
1088     return resp;
1089 }
1090
1091 static int redirection_ok(int n_redir, const char *old_url, const char *new_url)
1092 {
1093     if (n_redir >= HTTP_VERSION_MAX_REDIRECTIONS) {
1094         ERR_raise(ERR_LIB_HTTP, HTTP_R_TOO_MANY_REDIRECTIONS);
1095         return 0;
1096     }
1097     if (*new_url == '/') /* redirection to same server => same protocol */
1098         return 1;
1099     if (HAS_PREFIX(old_url, OSSL_HTTPS_NAME":") &&
1100         !HAS_PREFIX(new_url, OSSL_HTTPS_NAME":")) {
1101         ERR_raise(ERR_LIB_HTTP, HTTP_R_REDIRECTION_FROM_HTTPS_TO_HTTP);
1102         return 0;
1103     }
1104     return 1;
1105 }
1106
1107 /* Get data via HTTP from server at given URL, potentially with redirection */
1108 BIO *OSSL_HTTP_get(const char *url, const char *proxy, const char *no_proxy,
1109                    BIO *bio, BIO *rbio,
1110                    OSSL_HTTP_bio_cb_t bio_update_fn, void *arg,
1111                    int buf_size, const STACK_OF(CONF_VALUE) *headers,
1112                    const char *expected_ct, int expect_asn1,
1113                    size_t max_resp_len, int timeout)
1114 {
1115     char *current_url, *redirection_url = NULL;
1116     int n_redirs = 0;
1117     char *host;
1118     char *port;
1119     char *path;
1120     int use_ssl;
1121     OSSL_HTTP_REQ_CTX *rctx;
1122     BIO *resp = NULL;
1123     time_t max_time = timeout > 0 ? time(NULL) + timeout : 0;
1124
1125     if (url == NULL) {
1126         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
1127         return NULL;
1128     }
1129     if ((current_url = OPENSSL_strdup(url)) == NULL)
1130         return NULL;
1131
1132     for (;;) {
1133         if (!OSSL_HTTP_parse_url(current_url, &use_ssl, NULL /* user */, &host,
1134                                  &port, NULL /* port_num */, &path, NULL, NULL))
1135             break;
1136
1137         rctx = OSSL_HTTP_open(host, port, proxy, no_proxy,
1138                               use_ssl, bio, rbio, bio_update_fn, arg,
1139                               buf_size, timeout);
1140     new_rpath:
1141         if (rctx != NULL) {
1142             if (!OSSL_HTTP_set1_request(rctx, path, headers,
1143                                         NULL /* content_type */,
1144                                         NULL /* req */,
1145                                         expected_ct, expect_asn1, max_resp_len,
1146                                         -1 /* use same max time (timeout) */,
1147                                         0 /* no keep_alive */))
1148                 OSSL_HTTP_REQ_CTX_free(rctx);
1149             else
1150                 resp = OSSL_HTTP_exchange(rctx, &redirection_url);
1151         }
1152         OPENSSL_free(path);
1153         if (resp == NULL && redirection_url != NULL) {
1154             if (redirection_ok(++n_redirs, current_url, redirection_url)
1155                     && may_still_retry(max_time, &timeout)) {
1156                 (void)BIO_reset(bio);
1157                 OPENSSL_free(current_url);
1158                 current_url = redirection_url;
1159                 if (*redirection_url == '/') { /* redirection to same server */
1160                     path = OPENSSL_strdup(redirection_url);
1161                     if (path == NULL) {
1162                         OPENSSL_free(host);
1163                         OPENSSL_free(port);
1164                         (void)OSSL_HTTP_close(rctx, 1);
1165                         BIO_free(resp);
1166                         OPENSSL_free(current_url);
1167                         return NULL;
1168                     }
1169                     goto new_rpath;
1170                 }
1171                 OPENSSL_free(host);
1172                 OPENSSL_free(port);
1173                 (void)OSSL_HTTP_close(rctx, 1);
1174                 continue;
1175             }
1176             /* if redirection not allowed, ignore it */
1177             OPENSSL_free(redirection_url);
1178         }
1179         OPENSSL_free(host);
1180         OPENSSL_free(port);
1181         if (!OSSL_HTTP_close(rctx, resp != NULL)) {
1182             BIO_free(resp);
1183             resp = NULL;
1184         }
1185         break;
1186     }
1187     OPENSSL_free(current_url);
1188     return resp;
1189 }
1190
1191 /* Exchange request and response over a connection managed via |prctx| */
1192 BIO *OSSL_HTTP_transfer(OSSL_HTTP_REQ_CTX **prctx,
1193                         const char *server, const char *port,
1194                         const char *path, int use_ssl,
1195                         const char *proxy, const char *no_proxy,
1196                         BIO *bio, BIO *rbio,
1197                         OSSL_HTTP_bio_cb_t bio_update_fn, void *arg,
1198                         int buf_size, const STACK_OF(CONF_VALUE) *headers,
1199                         const char *content_type, BIO *req,
1200                         const char *expected_ct, int expect_asn1,
1201                         size_t max_resp_len, int timeout, int keep_alive)
1202 {
1203     OSSL_HTTP_REQ_CTX *rctx = prctx == NULL ? NULL : *prctx;
1204     BIO *resp = NULL;
1205
1206     if (rctx == NULL) {
1207         rctx = OSSL_HTTP_open(server, port, proxy, no_proxy,
1208                               use_ssl, bio, rbio, bio_update_fn, arg,
1209                               buf_size, timeout);
1210         timeout = -1; /* Already set during opening the connection */
1211     }
1212     if (rctx != NULL) {
1213         if (OSSL_HTTP_set1_request(rctx, path, headers, content_type, req,
1214                                    expected_ct, expect_asn1,
1215                                    max_resp_len, timeout, keep_alive))
1216             resp = OSSL_HTTP_exchange(rctx, NULL);
1217         if (resp == NULL || !OSSL_HTTP_is_alive(rctx)) {
1218             if (!OSSL_HTTP_close(rctx, resp != NULL)) {
1219                 BIO_free(resp);
1220                 resp = NULL;
1221             }
1222             rctx = NULL;
1223         }
1224     }
1225     if (prctx != NULL)
1226         *prctx = rctx;
1227     return resp;
1228 }
1229
1230 int OSSL_HTTP_close(OSSL_HTTP_REQ_CTX *rctx, int ok)
1231 {
1232     BIO *wbio;
1233     int ret = 1;
1234
1235     /* callback can be used to finish TLS session and free its BIO */
1236     if (rctx != NULL && rctx->upd_fn != NULL) {
1237         wbio = (*rctx->upd_fn)(rctx->wbio, rctx->upd_arg,
1238                                0 /* disconnect */, ok);
1239         ret = wbio != NULL;
1240         if (ret)
1241             rctx->wbio = wbio;
1242     }
1243     OSSL_HTTP_REQ_CTX_free(rctx);
1244     return ret;
1245 }
1246
1247 /* BASE64 encoder used for encoding basic proxy authentication credentials */
1248 static char *base64encode(const void *buf, size_t len)
1249 {
1250     int i;
1251     size_t outl;
1252     char *out;
1253
1254     /* Calculate size of encoded data */
1255     outl = (len / 3);
1256     if (len % 3 > 0)
1257         outl++;
1258     outl <<= 2;
1259     out = OPENSSL_malloc(outl + 1);
1260     if (out == NULL)
1261         return 0;
1262
1263     i = EVP_EncodeBlock((unsigned char *)out, buf, len);
1264     if (!ossl_assert(0 <= i && (size_t)i <= outl)) {
1265         OPENSSL_free(out);
1266         return NULL;
1267     }
1268     return out;
1269 }
1270
1271 /*
1272  * Promote the given connection BIO using the CONNECT method for a TLS proxy.
1273  * This is typically called by an app, so bio_err and prog are used unless NULL
1274  * to print additional diagnostic information in a user-oriented way.
1275  */
1276 int OSSL_HTTP_proxy_connect(BIO *bio, const char *server, const char *port,
1277                             const char *proxyuser, const char *proxypass,
1278                             int timeout, BIO *bio_err, const char *prog)
1279 {
1280 #undef BUF_SIZE
1281 #define BUF_SIZE (8 * 1024)
1282     char *mbuf = OPENSSL_malloc(BUF_SIZE);
1283     char *mbufp;
1284     int read_len = 0;
1285     int ret = 0;
1286     BIO *fbio = BIO_new(BIO_f_buffer());
1287     int rv;
1288     time_t max_time = timeout > 0 ? time(NULL) + timeout : 0;
1289
1290     if (bio == NULL || server == NULL
1291             || (bio_err != NULL && prog == NULL)) {
1292         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
1293         goto end;
1294     }
1295     if (port == NULL || *port == '\0')
1296         port = OSSL_HTTPS_PORT;
1297
1298     if (mbuf == NULL || fbio == NULL) {
1299         BIO_printf(bio_err /* may be NULL */, "%s: out of memory", prog);
1300         goto end;
1301     }
1302     BIO_push(fbio, bio);
1303
1304     BIO_printf(fbio, "CONNECT %s:%s "HTTP_1_0"\r\n", server, port);
1305
1306     /*
1307      * Workaround for broken proxies which would otherwise close
1308      * the connection when entering tunnel mode (e.g., Squid 2.6)
1309      */
1310     BIO_printf(fbio, "Proxy-Connection: Keep-Alive\r\n");
1311
1312     /* Support for basic (base64) proxy authentication */
1313     if (proxyuser != NULL) {
1314         size_t len = strlen(proxyuser) + 1;
1315         char *proxyauth, *proxyauthenc = NULL;
1316
1317         if (proxypass != NULL)
1318             len += strlen(proxypass);
1319         proxyauth = OPENSSL_malloc(len + 1);
1320         if (proxyauth == NULL)
1321             goto end;
1322         if (BIO_snprintf(proxyauth, len + 1, "%s:%s", proxyuser,
1323                          proxypass != NULL ? proxypass : "") != (int)len)
1324             goto proxy_end;
1325         proxyauthenc = base64encode(proxyauth, len);
1326         if (proxyauthenc != NULL) {
1327             BIO_printf(fbio, "Proxy-Authorization: Basic %s\r\n", proxyauthenc);
1328             OPENSSL_clear_free(proxyauthenc, strlen(proxyauthenc));
1329         }
1330     proxy_end:
1331         OPENSSL_clear_free(proxyauth, len);
1332         if (proxyauthenc == NULL)
1333             goto end;
1334     }
1335
1336     /* Terminate the HTTP CONNECT request */
1337     BIO_printf(fbio, "\r\n");
1338
1339     for (;;) {
1340         if (BIO_flush(fbio) != 0)
1341             break;
1342         /* potentially needs to be retried if BIO is non-blocking */
1343         if (!BIO_should_retry(fbio))
1344             break;
1345     }
1346
1347     for (;;) {
1348         /* will not actually wait if timeout == 0 */
1349         rv = BIO_wait(fbio, max_time, 100 /* milliseconds */);
1350         if (rv <= 0) {
1351             BIO_printf(bio_err, "%s: HTTP CONNECT %s\n", prog,
1352                        rv == 0 ? "timed out" : "failed waiting for data");
1353             goto end;
1354         }
1355
1356         /*-
1357          * The first line is the HTTP response.
1358          * According to RFC 7230, it is formatted exactly like this:
1359          * HTTP/d.d ddd reason text\r\n
1360          */
1361         read_len = BIO_gets(fbio, mbuf, BUF_SIZE);
1362         /* the BIO may not block, so we must wait for the 1st line to come in */
1363         if (read_len < (int)HTTP_LINE1_MINLEN)
1364             continue;
1365
1366         /* Check for HTTP/1.x */
1367         mbufp = mbuf;
1368         if (!CHECK_AND_SKIP_PREFIX(mbufp, HTTP_PREFIX)) {
1369             ERR_raise(ERR_LIB_HTTP, HTTP_R_HEADER_PARSE_ERROR);
1370             BIO_printf(bio_err, "%s: HTTP CONNECT failed, non-HTTP response\n",
1371                        prog);
1372             /* Wrong protocol, not even HTTP, so stop reading headers */
1373             goto end;
1374         }
1375         if (!HAS_PREFIX(mbufp, HTTP_VERSION_PATT)) {
1376             ERR_raise(ERR_LIB_HTTP, HTTP_R_RECEIVED_WRONG_HTTP_VERSION);
1377             BIO_printf(bio_err,
1378                        "%s: HTTP CONNECT failed, bad HTTP version %.*s\n",
1379                        prog, (int)HTTP_VERSION_STR_LEN, mbufp);
1380             goto end;
1381         }
1382         mbufp += HTTP_VERSION_STR_LEN;
1383
1384         /* RFC 7231 4.3.6: any 2xx status code is valid */
1385         if (!HAS_PREFIX(mbufp, " 2")) {
1386             if (ossl_isspace(*mbufp))
1387                 mbufp++;
1388             /* chop any trailing whitespace */
1389             while (read_len > 0 && ossl_isspace(mbuf[read_len - 1]))
1390                 read_len--;
1391             mbuf[read_len] = '\0';
1392             ERR_raise_data(ERR_LIB_HTTP, HTTP_R_CONNECT_FAILURE,
1393                            "reason=%s", mbufp);
1394             BIO_printf(bio_err, "%s: HTTP CONNECT failed, reason=%s\n",
1395                        prog, mbufp);
1396             goto end;
1397         }
1398         ret = 1;
1399         break;
1400     }
1401
1402     /* Read past all following headers */
1403     do {
1404         /*
1405          * This does not necessarily catch the case when the full
1406          * HTTP response came in in more than a single TCP message.
1407          */
1408         read_len = BIO_gets(fbio, mbuf, BUF_SIZE);
1409     } while (read_len > 2);
1410
1411  end:
1412     if (fbio != NULL) {
1413         (void)BIO_flush(fbio);
1414         BIO_pop(fbio);
1415         BIO_free(fbio);
1416     }
1417     OPENSSL_free(mbuf);
1418     return ret;
1419 #undef BUF_SIZE
1420 }