crypto/http/http_client.c

   1 /*
   2  * Copyright 2001-2022 The OpenSSL Project Authors. All Rights Reserved.
   3  * Copyright Siemens AG 2018-2020
   4  *
   5  * Licensed under the Apache License 2.0 (the "License").  You may not use
   6  * this file except in compliance with the License.  You can obtain a copy
   7  * in the file LICENSE in the source distribution or at
   8  * https://www.openssl.org/source/license.html
   9  */
  10
  11 #include "internal/e_os.h"
  12 #include <stdio.h>
  13 #include <stdlib.h>
  14 #include "crypto/ctype.h"
  15 #include <string.h>
  16 #include <openssl/asn1.h>
  17 #include <openssl/evp.h>
  18 #include <openssl/err.h>
  19 #include <openssl/httperr.h>
  20 #include <openssl/cmperr.h>
  21 #include <openssl/buffer.h>
  22 #include <openssl/http.h>
  23 #include "internal/sockets.h"
  24 #include "internal/common.h" /* for ossl_assert() */
  25
  26 #define HTTP_PREFIX "HTTP/"
  27 #define HTTP_VERSION_PATT "1." /* allow 1.x */
  28 #define HTTP_VERSION_STR_LEN sizeof(HTTP_VERSION_PATT) /* == strlen("1.0") */
  29 #define HTTP_PREFIX_VERSION HTTP_PREFIX""HTTP_VERSION_PATT
  30 #define HTTP_1_0 HTTP_PREFIX_VERSION"0" /* "HTTP/1.0" */
  31 #define HTTP_LINE1_MINLEN (sizeof(HTTP_PREFIX_VERSION "x 200\n") - 1)
  32 #define HTTP_VERSION_MAX_REDIRECTIONS 50
  33
  34 #define HTTP_STATUS_CODE_OK                200
  35 #define HTTP_STATUS_CODE_MOVED_PERMANENTLY 301
  36 #define HTTP_STATUS_CODE_FOUND             302
  37
  38 /* Stateful HTTP request code, supporting blocking and non-blocking I/O */
  39
  40 /* Opaque HTTP request status structure */
  41
  42 struct ossl_http_req_ctx_st {
  43     int state;                  /* Current I/O state */
  44     unsigned char *buf;         /* Buffer to write request or read response */
  45     int buf_size;               /* Buffer size */
  46     int free_wbio;              /* wbio allocated internally, free with ctx */
  47     BIO *wbio;                  /* BIO to write/send request to */
  48     BIO *rbio;                  /* BIO to read/receive response from */
  49     OSSL_HTTP_bio_cb_t upd_fn;  /* Optional BIO update callback used for TLS */
  50     void *upd_arg;              /* Optional arg for update callback function */
  51     int use_ssl;                /* Use HTTPS */
  52     char *proxy;                /* Optional proxy name or URI */
  53     char *server;               /* Optional server host name */
  54     char *port;                 /* Optional server port */
  55     BIO *mem;                   /* Memory BIO holding request/response header */
  56     BIO *req;                   /* BIO holding the request provided by caller */
  57     int method_POST;            /* HTTP method is POST (else GET) */
  58     char *expected_ct;          /* Optional expected Content-Type */
  59     int expect_asn1;            /* Response must be ASN.1-encoded */
  60     unsigned char *pos;         /* Current position sending data */
  61     long len_to_send;           /* Number of bytes still to send */
  62     size_t resp_len;            /* Length of response */
  63     size_t max_resp_len;        /* Maximum length of response, or 0 */
  64     int keep_alive;             /* Persistent conn. 0=no, 1=prefer, 2=require */
  65     time_t max_time;            /* Maximum end time of current transfer, or 0 */
  66     time_t max_total_time;      /* Maximum end time of total transfer, or 0 */
  67     char *redirection_url;      /* Location obtained from HTTP status 301/302 */
  68 };
  69
  70 /* HTTP states */
  71
  72 #define OHS_NOREAD         0x1000 /* If set no reading should be performed */
  73 #define OHS_ERROR          (0 | OHS_NOREAD) /* Error condition */
  74 #define OHS_ADD_HEADERS    (1 | OHS_NOREAD) /* Adding header lines to request */
  75 #define OHS_WRITE_INIT     (2 | OHS_NOREAD) /* 1st call: ready to start send */
  76 #define OHS_WRITE_HDR      (3 | OHS_NOREAD) /* Request header being sent */
  77 #define OHS_WRITE_REQ      (4 | OHS_NOREAD) /* Request contents being sent */
  78 #define OHS_FLUSH          (5 | OHS_NOREAD) /* Request being flushed */
  79 #define OHS_FIRSTLINE       1 /* First line of response being read */
  80 #define OHS_HEADERS         2 /* MIME headers of response being read */
  81 #define OHS_REDIRECT        3 /* MIME headers being read, expecting Location */
  82 #define OHS_ASN1_HEADER     4 /* ASN1 sequence header (tag+length) being read */
  83 #define OHS_ASN1_CONTENT    5 /* ASN1 content octets being read */
  84 #define OHS_ASN1_DONE      (6 | OHS_NOREAD) /* ASN1 content read completed */
  85 #define OHS_STREAM         (7 | OHS_NOREAD) /* HTTP content stream to be read */
  86
  87 /* Low-level HTTP API implementation */
  88
  89 OSSL_HTTP_REQ_CTX *OSSL_HTTP_REQ_CTX_new(BIO *wbio, BIO *rbio, int buf_size)
  90 {
  91     OSSL_HTTP_REQ_CTX *rctx;
  92
  93     if (wbio == NULL || rbio == NULL) {
  94         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
  95         return NULL;
  96     }
  97
  98     if ((rctx = OPENSSL_zalloc(sizeof(*rctx))) == NULL)
  99         return NULL;
 100     rctx->state = OHS_ERROR;
 101     rctx->buf_size = buf_size > 0 ? buf_size : OSSL_HTTP_DEFAULT_MAX_LINE_LEN;
 102     rctx->buf = OPENSSL_malloc(rctx->buf_size);
 103     rctx->wbio = wbio;
 104     rctx->rbio = rbio;
 105     if (rctx->buf == NULL) {
 106         OPENSSL_free(rctx);
 107         return NULL;
 108     }
 109     rctx->max_resp_len = OSSL_HTTP_DEFAULT_MAX_RESP_LEN;
 110     /* everything else is 0, e.g. rctx->len_to_send, or NULL, e.g. rctx->mem  */
 111     return rctx;
 112 }
 113
 114 void OSSL_HTTP_REQ_CTX_free(OSSL_HTTP_REQ_CTX *rctx)
 115 {
 116     if (rctx == NULL)
 117         return;
 118     /*
 119      * Use BIO_free_all() because bio_update_fn may prepend or append to cbio.
 120      * This also frees any (e.g., SSL/TLS) BIOs linked with bio and,
 121      * like BIO_reset(bio), calls SSL_shutdown() to notify/alert the peer.
 122      */
 123     if (rctx->free_wbio)
 124         BIO_free_all(rctx->wbio);
 125     /* do not free rctx->rbio */
 126     BIO_free(rctx->mem);
 127     BIO_free(rctx->req);
 128     OPENSSL_free(rctx->buf);
 129     OPENSSL_free(rctx->proxy);
 130     OPENSSL_free(rctx->server);
 131     OPENSSL_free(rctx->port);
 132     OPENSSL_free(rctx->expected_ct);
 133     OPENSSL_free(rctx);
 134 }
 135
 136 BIO *OSSL_HTTP_REQ_CTX_get0_mem_bio(const OSSL_HTTP_REQ_CTX *rctx)
 137 {
 138     if (rctx == NULL) {
 139         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
 140         return NULL;
 141     }
 142     return rctx->mem;
 143 }
 144
 145 size_t OSSL_HTTP_REQ_CTX_get_resp_len(const OSSL_HTTP_REQ_CTX *rctx)
 146 {
 147     if (rctx == NULL) {
 148         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
 149         return 0;
 150     }
 151     return rctx->resp_len;
 152 }
 153
 154 void OSSL_HTTP_REQ_CTX_set_max_response_length(OSSL_HTTP_REQ_CTX *rctx,
 155                                                unsigned long len)
 156 {
 157     if (rctx == NULL) {
 158         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
 159         return;
 160     }
 161     rctx->max_resp_len = len != 0 ? (size_t)len : OSSL_HTTP_DEFAULT_MAX_RESP_LEN;
 162 }
 163
 164 /*
 165  * Create request line using |rctx| and |path| (or "/" in case |path| is NULL).
 166  * Server name (and port) must be given if and only if plain HTTP proxy is used.
 167  */
 168 int OSSL_HTTP_REQ_CTX_set_request_line(OSSL_HTTP_REQ_CTX *rctx, int method_POST,
 169                                        const char *server, const char *port,
 170                                        const char *path)
 171 {
 172     if (rctx == NULL) {
 173         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
 174         return 0;
 175     }
 176     BIO_free(rctx->mem);
 177     if ((rctx->mem = BIO_new(BIO_s_mem())) == NULL)
 178         return 0;
 179
 180     rctx->method_POST = method_POST != 0;
 181     if (BIO_printf(rctx->mem, "%s ", rctx->method_POST ? "POST" : "GET") <= 0)
 182         return 0;
 183
 184     if (server != NULL) { /* HTTP (but not HTTPS) proxy is used */
 185         /*
 186          * Section 5.1.2 of RFC 1945 states that the absoluteURI form is only
 187          * allowed when using a proxy
 188          */
 189         if (BIO_printf(rctx->mem, OSSL_HTTP_PREFIX"%s", server) <= 0)
 190             return 0;
 191         if (port != NULL && BIO_printf(rctx->mem, ":%s", port) <= 0)
 192             return 0;
 193     }
 194
 195     /* Make sure path includes a forward slash */
 196     if (path == NULL)
 197         path = "/";
 198     if (path[0] != '/' && BIO_printf(rctx->mem, "/") <= 0)
 199         return 0;
 200     /*
 201      * Add (the rest of) the path and the HTTP version,
 202      * which is fixed to 1.0 for straightforward implementation of keep-alive
 203      */
 204     if (BIO_printf(rctx->mem, "%s "HTTP_1_0"\r\n", path) <= 0)
 205         return 0;
 206
 207     rctx->resp_len = 0;
 208     rctx->state = OHS_ADD_HEADERS;
 209     return 1;
 210 }
 211
 212 int OSSL_HTTP_REQ_CTX_add1_header(OSSL_HTTP_REQ_CTX *rctx,
 213                                   const char *name, const char *value)
 214 {
 215     if (rctx == NULL || name == NULL) {
 216         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
 217         return 0;
 218     }
 219     if (rctx->mem == NULL) {
 220         ERR_raise(ERR_LIB_HTTP, ERR_R_SHOULD_NOT_HAVE_BEEN_CALLED);
 221         return 0;
 222     }
 223
 224     if (BIO_puts(rctx->mem, name) <= 0)
 225         return 0;
 226     if (value != NULL) {
 227         if (BIO_write(rctx->mem, ": ", 2) != 2)
 228             return 0;
 229         if (BIO_puts(rctx->mem, value) <= 0)
 230             return 0;
 231     }
 232     return BIO_write(rctx->mem, "\r\n", 2) == 2;
 233 }
 234
 235 int OSSL_HTTP_REQ_CTX_set_expected(OSSL_HTTP_REQ_CTX *rctx,
 236                                    const char *content_type, int asn1,
 237                                    int timeout, int keep_alive)
 238 {
 239     if (rctx == NULL) {
 240         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
 241         return 0;
 242     }
 243     if (keep_alive != 0
 244             && rctx->state != OHS_ERROR && rctx->state != OHS_ADD_HEADERS) {
 245         /* Cannot anymore set keep-alive in request header */
 246         ERR_raise(ERR_LIB_HTTP, ERR_R_SHOULD_NOT_HAVE_BEEN_CALLED);
 247         return 0;
 248     }
 249
 250     OPENSSL_free(rctx->expected_ct);
 251     rctx->expected_ct = NULL;
 252     if (content_type != NULL
 253             && (rctx->expected_ct = OPENSSL_strdup(content_type)) == NULL)
 254         return 0;
 255
 256     rctx->expect_asn1 = asn1;
 257     if (timeout >= 0)
 258         rctx->max_time = timeout > 0 ? time(NULL) + timeout : 0;
 259     else /* take over any |overall_timeout| arg of OSSL_HTTP_open(), else 0 */
 260         rctx->max_time = rctx->max_total_time;
 261     rctx->keep_alive = keep_alive;
 262     return 1;
 263 }
 264
 265 static int set1_content(OSSL_HTTP_REQ_CTX *rctx,
 266                         const char *content_type, BIO *req)
 267 {
 268     long req_len;
 269
 270     if (rctx == NULL || (req == NULL && content_type != NULL)) {
 271         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
 272         return 0;
 273     }
 274
 275     if (rctx->keep_alive != 0
 276             && !OSSL_HTTP_REQ_CTX_add1_header(rctx, "Connection", "keep-alive"))
 277         return 0;
 278
 279     BIO_free(rctx->req);
 280     rctx->req = NULL;
 281     if (req == NULL)
 282         return 1;
 283     if (!rctx->method_POST) {
 284         ERR_raise(ERR_LIB_HTTP, ERR_R_SHOULD_NOT_HAVE_BEEN_CALLED);
 285         return 0;
 286     }
 287
 288     if (content_type != NULL
 289             && BIO_printf(rctx->mem, "Content-Type: %s\r\n", content_type) <= 0)
 290         return 0;
 291
 292     /* streaming BIO may not support querying size */
 293     if (((req_len = BIO_ctrl(req, BIO_CTRL_INFO, 0, NULL)) <= 0
 294          || BIO_printf(rctx->mem, "Content-Length: %ld\r\n", req_len) > 0)
 295         && BIO_up_ref(req)) {
 296         rctx->req = req;
 297         return 1;
 298     }
 299     return 0;
 300 }
 301
 302 int OSSL_HTTP_REQ_CTX_set1_req(OSSL_HTTP_REQ_CTX *rctx, const char *content_type,
 303                                const ASN1_ITEM *it, const ASN1_VALUE *req)
 304 {
 305     BIO *mem = NULL;
 306     int res = 1;
 307
 308     if (req != NULL)
 309         res = (mem = ASN1_item_i2d_mem_bio(it, req)) != NULL;
 310     res = res && set1_content(rctx, content_type, mem);
 311     BIO_free(mem);
 312     return res;
 313 }
 314
 315 static int add1_headers(OSSL_HTTP_REQ_CTX *rctx,
 316                         const STACK_OF(CONF_VALUE) *headers, const char *host)
 317 {
 318     int i;
 319     int add_host = host != NULL && *host != '\0';
 320     CONF_VALUE *hdr;
 321
 322     for (i = 0; i < sk_CONF_VALUE_num(headers); i++) {
 323         hdr = sk_CONF_VALUE_value(headers, i);
 324         if (add_host && OPENSSL_strcasecmp("host", hdr->name) == 0)
 325             add_host = 0;
 326         if (!OSSL_HTTP_REQ_CTX_add1_header(rctx, hdr->name, hdr->value))
 327             return 0;
 328     }
 329
 330     if (add_host && !OSSL_HTTP_REQ_CTX_add1_header(rctx, "Host", host))
 331         return 0;
 332     return 1;
 333 }
 334
 335 /* Create OSSL_HTTP_REQ_CTX structure using the values provided. */
 336 static OSSL_HTTP_REQ_CTX *http_req_ctx_new(int free_wbio, BIO *wbio, BIO *rbio,
 337                                            OSSL_HTTP_bio_cb_t bio_update_fn,
 338                                            void *arg, int use_ssl,
 339                                            const char *proxy,
 340                                            const char *server, const char *port,
 341                                            int buf_size, int overall_timeout)
 342 {
 343     OSSL_HTTP_REQ_CTX *rctx = OSSL_HTTP_REQ_CTX_new(wbio, rbio, buf_size);
 344
 345     if (rctx == NULL)
 346         return NULL;
 347     rctx->free_wbio = free_wbio;
 348     rctx->upd_fn = bio_update_fn;
 349     rctx->upd_arg = arg;
 350     rctx->use_ssl = use_ssl;
 351     if (proxy != NULL
 352             && (rctx->proxy = OPENSSL_strdup(proxy)) == NULL)
 353         goto err;
 354     if (server != NULL
 355             && (rctx->server = OPENSSL_strdup(server)) == NULL)
 356         goto err;
 357     if (port != NULL
 358             && (rctx->port = OPENSSL_strdup(port)) == NULL)
 359         goto err;
 360     rctx->max_total_time =
 361         overall_timeout > 0 ? time(NULL) + overall_timeout : 0;
 362     return rctx;
 363
 364  err:
 365     OSSL_HTTP_REQ_CTX_free(rctx);
 366     return NULL;
 367 }
 368
 369 /*
 370  * Parse first HTTP response line. This should be like this: "HTTP/1.0 200 OK".
 371  * We need to obtain the status code and (optional) informational message.
 372  * Return any received HTTP response status code, or 0 on fatal error.
 373  */
 374
 375 static int parse_http_line1(char *line, int *found_keep_alive)
 376 {
 377     int i, retcode, err;
 378     char *code, *reason, *end;
 379
 380     if (!CHECK_AND_SKIP_PREFIX(line, HTTP_PREFIX_VERSION))
 381         goto err;
 382     /* above HTTP 1.0, connection persistence is the default */
 383     *found_keep_alive = *line > '0';
 384
 385     /* Skip to first whitespace (past protocol info) */
 386     for (code = line; *code != '\0' && !ossl_isspace(*code); code++)
 387         continue;
 388     if (*code == '\0')
 389         goto err;
 390
 391     /* Skip past whitespace to start of response code */
 392     while (*code != '\0' && ossl_isspace(*code))
 393         code++;
 394     if (*code == '\0')
 395         goto err;
 396
 397     /* Find end of response code: first whitespace after start of code */
 398     for (reason = code; *reason != '\0' && !ossl_isspace(*reason); reason++)
 399         continue;
 400
 401     if (*reason == '\0')
 402         goto err;
 403
 404     /* Set end of response code and start of message */
 405     *reason++ = '\0';
 406
 407     /* Attempt to parse numeric code */
 408     retcode = strtoul(code, &end, 10);
 409     if (*end != '\0')
 410         goto err;
 411
 412     /* Skip over any leading whitespace in message */
 413     while (*reason != '\0' && ossl_isspace(*reason))
 414         reason++;
 415
 416     if (*reason != '\0') {
 417         /*
 418          * Finally zap any trailing whitespace in message (include CRLF)
 419          */
 420
 421         /* chop any trailing whitespace from reason */
 422         /* We know reason has a non-whitespace character so this is OK */
 423         for (end = reason + strlen(reason) - 1; ossl_isspace(*end); end--)
 424             *end = '\0';
 425     }
 426
 427     switch (retcode) {
 428     case HTTP_STATUS_CODE_OK:
 429     case HTTP_STATUS_CODE_MOVED_PERMANENTLY:
 430     case HTTP_STATUS_CODE_FOUND:
 431         return retcode;
 432     default:
 433         err = HTTP_R_RECEIVED_ERROR;
 434         if (retcode < 400)
 435             err = HTTP_R_STATUS_CODE_UNSUPPORTED;
 436         if (*reason == '\0')
 437             ERR_raise_data(ERR_LIB_HTTP, err, "code=%s", code);
 438         else
 439             ERR_raise_data(ERR_LIB_HTTP, err, "code=%s, reason=%s", code,
 440                            reason);
 441         return retcode;
 442     }
 443
 444  err:
 445     for (i = 0; i < 60 && line[i] != '\0'; i++)
 446         if (!ossl_isprint(line[i]))
 447             line[i] = ' ';
 448     line[i] = '\0';
 449     ERR_raise_data(ERR_LIB_HTTP, HTTP_R_HEADER_PARSE_ERROR, "content=%s", line);
 450     return 0;
 451 }
 452
 453 static int check_set_resp_len(OSSL_HTTP_REQ_CTX *rctx, size_t len)
 454 {
 455     if (rctx->max_resp_len != 0 && len > rctx->max_resp_len)
 456         ERR_raise_data(ERR_LIB_HTTP, HTTP_R_MAX_RESP_LEN_EXCEEDED,
 457                        "length=%zu, max=%zu", len, rctx->max_resp_len);
 458     if (rctx->resp_len != 0 && rctx->resp_len != len)
 459         ERR_raise_data(ERR_LIB_HTTP, HTTP_R_INCONSISTENT_CONTENT_LENGTH,
 460                        "ASN.1 length=%zu, Content-Length=%zu",
 461                        len, rctx->resp_len);
 462     rctx->resp_len = len;
 463     return 1;
 464 }
 465
 466 static int may_still_retry(time_t max_time, int *ptimeout)
 467 {
 468     time_t time_diff, now = time(NULL);
 469
 470     if (max_time != 0) {
 471         if (max_time < now) {
 472             ERR_raise(ERR_LIB_HTTP, HTTP_R_RETRY_TIMEOUT);
 473             return 0;
 474         }
 475         time_diff = max_time - now;
 476         *ptimeout = time_diff > INT_MAX ? INT_MAX : (int)time_diff;
 477     }
 478     return 1;
 479 }
 480
 481 /*
 482  * Try exchanging request and response via HTTP on (non-)blocking BIO in rctx.
 483  * Returns 1 on success, 0 on error or redirection, -1 on BIO_should_retry.
 484  */
 485 int OSSL_HTTP_REQ_CTX_nbio(OSSL_HTTP_REQ_CTX *rctx)
 486 {
 487     int i, found_expected_ct = 0, found_keep_alive = 0;
 488     long n;
 489     size_t resp_len;
 490     const unsigned char *p;
 491     char *buf, *key, *value, *line_end = NULL;
 492
 493     if (rctx == NULL) {
 494         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
 495         return 0;
 496     }
 497     if (rctx->mem == NULL || rctx->wbio == NULL || rctx->rbio == NULL) {
 498         ERR_raise(ERR_LIB_HTTP, ERR_R_SHOULD_NOT_HAVE_BEEN_CALLED);
 499         return 0;
 500     }
 501
 502     rctx->redirection_url = NULL;
 503  next_io:
 504     buf = (char *)rctx->buf;
 505     if ((rctx->state & OHS_NOREAD) == 0) {
 506         if (rctx->expect_asn1) {
 507             n = BIO_read(rctx->rbio, rctx->buf, rctx->buf_size);
 508         } else {
 509             (void)ERR_set_mark();
 510             n = BIO_gets(rctx->rbio, buf, rctx->buf_size);
 511             if (n == -2) { /* some BIOs, such as SSL, do not support "gets" */
 512                 (void)ERR_pop_to_mark();
 513                 n = BIO_get_line(rctx->rbio, buf, rctx->buf_size);
 514             } else {
 515                 (void)ERR_clear_last_mark();
 516             }
 517         }
 518         if (n <= 0) {
 519             if (BIO_should_retry(rctx->rbio))
 520                 return -1;
 521             ERR_raise(ERR_LIB_HTTP, HTTP_R_FAILED_READING_DATA);
 522             return 0;
 523         }
 524
 525         /* Write data to memory BIO */
 526         if (BIO_write(rctx->mem, rctx->buf, n) != n)
 527             return 0;
 528     }
 529
 530     switch (rctx->state) {
 531     case OHS_ADD_HEADERS:
 532         /* Last operation was adding headers: need a final \r\n */
 533         if (BIO_write(rctx->mem, "\r\n", 2) != 2) {
 534             rctx->state = OHS_ERROR;
 535             return 0;
 536         }
 537         rctx->state = OHS_WRITE_INIT;
 538
 539         /* fall thru */
 540     case OHS_WRITE_INIT:
 541         rctx->len_to_send = BIO_get_mem_data(rctx->mem, &rctx->pos);
 542         rctx->state = OHS_WRITE_HDR;
 543
 544         /* fall thru */
 545     case OHS_WRITE_HDR:
 546         /* Copy some chunk of data from rctx->mem to rctx->wbio */
 547     case OHS_WRITE_REQ:
 548         /* Copy some chunk of data from rctx->req to rctx->wbio */
 549
 550         if (rctx->len_to_send > 0) {
 551             i = BIO_write(rctx->wbio, rctx->pos, rctx->len_to_send);
 552             if (i <= 0) {
 553                 if (BIO_should_retry(rctx->wbio))
 554                     return -1;
 555                 rctx->state = OHS_ERROR;
 556                 return 0;
 557             }
 558             rctx->pos += i;
 559             rctx->len_to_send -= i;
 560             goto next_io;
 561         }
 562         if (rctx->state == OHS_WRITE_HDR) {
 563             (void)BIO_reset(rctx->mem);
 564             rctx->state = OHS_WRITE_REQ;
 565         }
 566         if (rctx->req != NULL && !BIO_eof(rctx->req)) {
 567             n = BIO_read(rctx->req, rctx->buf, rctx->buf_size);
 568             if (n <= 0) {
 569                 if (BIO_should_retry(rctx->rbio))
 570                     return -1;
 571                 ERR_raise(ERR_LIB_HTTP, HTTP_R_FAILED_READING_DATA);
 572                 return 0;
 573             }
 574             rctx->pos = rctx->buf;
 575             rctx->len_to_send = n;
 576             goto next_io;
 577         }
 578         rctx->state = OHS_FLUSH;
 579
 580         /* fall thru */
 581     case OHS_FLUSH:
 582
 583         i = BIO_flush(rctx->wbio);
 584
 585         if (i > 0) {
 586             rctx->state = OHS_FIRSTLINE;
 587             goto next_io;
 588         }
 589
 590         if (BIO_should_retry(rctx->wbio))
 591             return -1;
 592
 593         rctx->state = OHS_ERROR;
 594         return 0;
 595
 596     case OHS_ERROR:
 597         return 0;
 598
 599     case OHS_FIRSTLINE:
 600     case OHS_HEADERS:
 601     case OHS_REDIRECT:
 602
 603         /* Attempt to read a line in */
 604  next_line:
 605         /*
 606          * Due to strange memory BIO behavior with BIO_gets we have to check
 607          * there's a complete line in there before calling BIO_gets or we'll
 608          * just get a partial read.
 609          */
 610         n = BIO_get_mem_data(rctx->mem, &p);
 611         if (n <= 0 || memchr(p, '\n', n) == 0) {
 612             if (n >= rctx->buf_size) {
 613                 rctx->state = OHS_ERROR;
 614                 return 0;
 615             }
 616             goto next_io;
 617         }
 618         n = BIO_gets(rctx->mem, buf, rctx->buf_size);
 619
 620         if (n <= 0) {
 621             if (BIO_should_retry(rctx->mem))
 622                 goto next_io;
 623             rctx->state = OHS_ERROR;
 624             return 0;
 625         }
 626
 627         /* Don't allow excessive lines */
 628         if (n == rctx->buf_size) {
 629             ERR_raise(ERR_LIB_HTTP, HTTP_R_RESPONSE_LINE_TOO_LONG);
 630             rctx->state = OHS_ERROR;
 631             return 0;
 632         }
 633
 634         /* First line */
 635         if (rctx->state == OHS_FIRSTLINE) {
 636             switch (parse_http_line1(buf, &found_keep_alive)) {
 637             case HTTP_STATUS_CODE_OK:
 638                 rctx->state = OHS_HEADERS;
 639                 goto next_line;
 640             case HTTP_STATUS_CODE_MOVED_PERMANENTLY:
 641             case HTTP_STATUS_CODE_FOUND: /* i.e., moved temporarily */
 642                 if (!rctx->method_POST) { /* method is GET */
 643                     rctx->state = OHS_REDIRECT;
 644                     goto next_line;
 645                 }
 646                 ERR_raise(ERR_LIB_HTTP, HTTP_R_REDIRECTION_NOT_ENABLED);
 647                 /* redirection is not supported/recommended for POST */
 648                 /* fall through */
 649             default:
 650                 rctx->state = OHS_ERROR;
 651                 goto next_line;
 652             }
 653         }
 654         key = buf;
 655         value = strchr(key, ':');
 656         if (value != NULL) {
 657             *(value++) = '\0';
 658             while (ossl_isspace(*value))
 659                 value++;
 660             line_end = strchr(value, '\r');
 661             if (line_end == NULL)
 662                 line_end = strchr(value, '\n');
 663             if (line_end != NULL)
 664                 *line_end = '\0';
 665         }
 666         if (value != NULL && line_end != NULL) {
 667             if (rctx->state == OHS_REDIRECT
 668                     && OPENSSL_strcasecmp(key, "Location") == 0) {
 669                 rctx->redirection_url = value;
 670                 return 0;
 671             }
 672             if (rctx->state == OHS_HEADERS && rctx->expected_ct != NULL
 673                     && OPENSSL_strcasecmp(key, "Content-Type") == 0) {
 674                 if (OPENSSL_strcasecmp(rctx->expected_ct, value) != 0) {
 675                     ERR_raise_data(ERR_LIB_HTTP, HTTP_R_UNEXPECTED_CONTENT_TYPE,
 676                                    "expected=%s, actual=%s",
 677                                    rctx->expected_ct, value);
 678                     return 0;
 679                 }
 680                 found_expected_ct = 1;
 681             }
 682
 683             /* https://tools.ietf.org/html/rfc7230#section-6.3 Persistence */
 684             if (OPENSSL_strcasecmp(key, "Connection") == 0) {
 685                 if (OPENSSL_strcasecmp(value, "keep-alive") == 0)
 686                     found_keep_alive = 1;
 687                 else if (OPENSSL_strcasecmp(value, "close") == 0)
 688                     found_keep_alive = 0;
 689             } else if (OPENSSL_strcasecmp(key, "Content-Length") == 0) {
 690                 resp_len = (size_t)strtoul(value, &line_end, 10);
 691                 if (line_end == value || *line_end != '\0') {
 692                     ERR_raise_data(ERR_LIB_HTTP,
 693                                    HTTP_R_ERROR_PARSING_CONTENT_LENGTH,
 694                                    "input=%s", value);
 695                     return 0;
 696                 }
 697                 if (!check_set_resp_len(rctx, resp_len))
 698                     return 0;
 699             }
 700         }
 701
 702         /* Look for blank line indicating end of headers */
 703         for (p = rctx->buf; *p != '\0'; p++) {
 704             if (*p != '\r' && *p != '\n')
 705                 break;
 706         }
 707         if (*p != '\0') /* not end of headers */
 708             goto next_line;
 709
 710         if (rctx->keep_alive != 0 /* do not let server initiate keep_alive */
 711                 && !found_keep_alive /* otherwise there is no change */) {
 712             if (rctx->keep_alive == 2) {
 713                 rctx->keep_alive = 0;
 714                 ERR_raise(ERR_LIB_HTTP, HTTP_R_SERVER_CANCELED_CONNECTION);
 715                 return 0;
 716             }
 717             rctx->keep_alive = 0;
 718         }
 719
 720         if (rctx->state == OHS_ERROR)
 721             return 0;
 722
 723         if (rctx->expected_ct != NULL && !found_expected_ct) {
 724             ERR_raise_data(ERR_LIB_HTTP, HTTP_R_MISSING_CONTENT_TYPE,
 725                            "expected=%s", rctx->expected_ct);
 726             return 0;
 727         }
 728         if (rctx->state == OHS_REDIRECT) {
 729             /* http status code indicated redirect but there was no Location */
 730             ERR_raise(ERR_LIB_HTTP, HTTP_R_MISSING_REDIRECT_LOCATION);
 731             return 0;
 732         }
 733
 734         if (!rctx->expect_asn1) {
 735             rctx->state = OHS_STREAM;
 736             return 1;
 737         }
 738
 739         rctx->state = OHS_ASN1_HEADER;
 740
 741         /* Fall thru */
 742     case OHS_ASN1_HEADER:
 743         /*
 744          * Now reading ASN1 header: can read at least 2 bytes which is enough
 745          * for ASN1 SEQUENCE header and either length field or at least the
 746          * length of the length field.
 747          */
 748         n = BIO_get_mem_data(rctx->mem, &p);
 749         if (n < 2)
 750             goto next_io;
 751
 752         /* Check it is an ASN1 SEQUENCE */
 753         if (*p++ != (V_ASN1_SEQUENCE | V_ASN1_CONSTRUCTED)) {
 754             ERR_raise(ERR_LIB_HTTP, HTTP_R_MISSING_ASN1_ENCODING);
 755             return 0;
 756         }
 757
 758         /* Check out length field */
 759         if ((*p & 0x80) != 0) {
 760             /*
 761              * If MSB set on initial length octet we can now always read 6
 762              * octets: make sure we have them.
 763              */
 764             if (n < 6)
 765                 goto next_io;
 766             n = *p & 0x7F;
 767             /* Not NDEF or excessive length */
 768             if (n == 0 || (n > 4)) {
 769                 ERR_raise(ERR_LIB_HTTP, HTTP_R_ERROR_PARSING_ASN1_LENGTH);
 770                 return 0;
 771             }
 772             p++;
 773             resp_len = 0;
 774             for (i = 0; i < n; i++) {
 775                 resp_len <<= 8;
 776                 resp_len |= *p++;
 777             }
 778             resp_len += n + 2;
 779         } else {
 780             resp_len = *p + 2;
 781         }
 782         if (!check_set_resp_len(rctx, resp_len))
 783             return 0;
 784
 785         rctx->state = OHS_ASN1_CONTENT;
 786
 787         /* Fall thru */
 788     case OHS_ASN1_CONTENT:
 789     default:
 790         n = BIO_get_mem_data(rctx->mem, NULL);
 791         if (n < 0 || (size_t)n < rctx->resp_len)
 792             goto next_io;
 793
 794         rctx->state = OHS_ASN1_DONE;
 795         return 1;
 796     }
 797 }
 798
 799 int OSSL_HTTP_REQ_CTX_nbio_d2i(OSSL_HTTP_REQ_CTX *rctx,
 800                                ASN1_VALUE **pval, const ASN1_ITEM *it)
 801 {
 802     const unsigned char *p;
 803     int rv;
 804
 805     *pval = NULL;
 806     if ((rv = OSSL_HTTP_REQ_CTX_nbio(rctx)) != 1)
 807         return rv;
 808     *pval = ASN1_item_d2i(NULL, &p, BIO_get_mem_data(rctx->mem, &p), it);
 809     return *pval != NULL;
 810
 811 }
 812
 813 #ifndef OPENSSL_NO_SOCK
 814
 815 /* set up a new connection BIO, to HTTP server or to HTTP(S) proxy if given */
 816 static BIO *http_new_bio(const char *server /* optionally includes ":port" */,
 817                          const char *server_port /* explicit server port */,
 818                          int use_ssl,
 819                          const char *proxy /* optionally includes ":port" */,
 820                          const char *proxy_port /* explicit proxy port */)
 821 {
 822     const char *host = server;
 823     const char *port = server_port;
 824     BIO *cbio;
 825
 826     if (!ossl_assert(server != NULL))
 827         return NULL;
 828
 829     if (proxy != NULL) {
 830         host = proxy;
 831         port = proxy_port;
 832     }
 833
 834     if (port == NULL && strchr(host, ':') == NULL)
 835         port = use_ssl ? OSSL_HTTPS_PORT : OSSL_HTTP_PORT;
 836
 837     cbio = BIO_new_connect(host /* optionally includes ":port" */);
 838     if (cbio == NULL)
 839         goto end;
 840     if (port != NULL)
 841         (void)BIO_set_conn_port(cbio, port);
 842
 843  end:
 844     return cbio;
 845 }
 846 #endif /* OPENSSL_NO_SOCK */
 847
 848 /* Exchange request and response via HTTP on (non-)blocking BIO */
 849 BIO *OSSL_HTTP_REQ_CTX_exchange(OSSL_HTTP_REQ_CTX *rctx)
 850 {
 851     int rv;
 852
 853     if (rctx == NULL) {
 854         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
 855         return NULL;
 856     }
 857
 858     for (;;) {
 859         rv = OSSL_HTTP_REQ_CTX_nbio(rctx);
 860         if (rv != -1)
 861             break;
 862         /* BIO_should_retry was true */
 863         /* will not actually wait if rctx->max_time == 0 */
 864         if (BIO_wait(rctx->rbio, rctx->max_time, 100 /* milliseconds */) <= 0)
 865             return NULL;
 866     }
 867
 868     if (rv == 0) {
 869         if (rctx->redirection_url == NULL) { /* an error occurred */
 870             if (rctx->len_to_send > 0)
 871                 ERR_raise(ERR_LIB_HTTP, HTTP_R_ERROR_SENDING);
 872             else
 873                 ERR_raise(ERR_LIB_HTTP, HTTP_R_ERROR_RECEIVING);
 874         }
 875         return NULL;
 876     }
 877     return rctx->state == OHS_STREAM ? rctx->rbio : rctx->mem;
 878 }
 879
 880 int OSSL_HTTP_is_alive(const OSSL_HTTP_REQ_CTX *rctx)
 881 {
 882     return rctx != NULL && rctx->keep_alive != 0;
 883 }
 884
 885 /* High-level HTTP API implementation */
 886
 887 /* Initiate an HTTP session using bio, else use given server, proxy, etc. */
 888 OSSL_HTTP_REQ_CTX *OSSL_HTTP_open(const char *server, const char *port,
 889                                   const char *proxy, const char *no_proxy,
 890                                   int use_ssl, BIO *bio, BIO *rbio,
 891                                   OSSL_HTTP_bio_cb_t bio_update_fn, void *arg,
 892                                   int buf_size, int overall_timeout)
 893 {
 894     BIO *cbio; /* == bio if supplied, used as connection BIO if rbio is NULL */
 895     OSSL_HTTP_REQ_CTX *rctx = NULL;
 896
 897     if (use_ssl && bio_update_fn == NULL) {
 898         ERR_raise(ERR_LIB_HTTP, HTTP_R_TLS_NOT_ENABLED);
 899         return NULL;
 900     }
 901     if (rbio != NULL && (bio == NULL || bio_update_fn != NULL)) {
 902         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_INVALID_ARGUMENT);
 903         return NULL;
 904     }
 905
 906     if (bio != NULL) {
 907         cbio = bio;
 908         if (proxy != NULL || no_proxy != NULL) {
 909             ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_INVALID_ARGUMENT);
 910             return NULL;
 911         }
 912     } else {
 913 #ifndef OPENSSL_NO_SOCK
 914         char *proxy_host = NULL, *proxy_port = NULL;
 915
 916         if (server == NULL) {
 917             ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
 918             return NULL;
 919         }
 920         if (port != NULL && *port == '\0')
 921             port = NULL;
 922         if (port == NULL && strchr(server, ':') == NULL)
 923             port = use_ssl ? OSSL_HTTPS_PORT : OSSL_HTTP_PORT;
 924         proxy = OSSL_HTTP_adapt_proxy(proxy, no_proxy, server, use_ssl);
 925         if (proxy != NULL
 926             && !OSSL_HTTP_parse_url(proxy, NULL /* use_ssl */, NULL /* user */,
 927                                     &proxy_host, &proxy_port, NULL /* num */,
 928                                     NULL /* path */, NULL, NULL))
 929             return NULL;
 930         cbio = http_new_bio(server, port, use_ssl, proxy_host, proxy_port);
 931         OPENSSL_free(proxy_host);
 932         OPENSSL_free(proxy_port);
 933         if (cbio == NULL)
 934             return NULL;
 935 #else
 936         ERR_raise(ERR_LIB_HTTP, HTTP_R_SOCK_NOT_SUPPORTED);
 937         return NULL;
 938 #endif
 939     }
 940
 941     (void)ERR_set_mark(); /* prepare removing any spurious libssl errors */
 942     if (rbio == NULL && BIO_do_connect_retry(cbio, overall_timeout, -1) <= 0) {
 943         if (bio == NULL) /* cbio was not provided by caller */
 944             BIO_free_all(cbio);
 945         goto end;
 946     }
 947     /* now overall_timeout is guaranteed to be >= 0 */
 948
 949     /* adapt in order to fix callback design flaw, see #17088 */
 950     /* callback can be used to wrap or prepend TLS session */
 951     if (bio_update_fn != NULL) {
 952         BIO *orig_bio = cbio;
 953
 954         cbio = (*bio_update_fn)(cbio, arg, 1 /* connect */, use_ssl);
 955         if (cbio == NULL) {
 956             if (bio == NULL) /* cbio was not provided by caller */
 957                 BIO_free_all(orig_bio);
 958             goto end;
 959         }
 960     }
 961
 962     rctx = http_req_ctx_new(bio == NULL, cbio, rbio != NULL ? rbio : cbio,
 963                             bio_update_fn, arg, use_ssl, proxy, server, port,
 964                             buf_size, overall_timeout);
 965
 966  end:
 967     if (rctx != NULL)
 968         /* remove any spurious error queue entries by ssl_add_cert_chain() */
 969         (void)ERR_pop_to_mark();
 970     else
 971         (void)ERR_clear_last_mark();
 972
 973     return rctx;
 974 }
 975
 976 int OSSL_HTTP_set1_request(OSSL_HTTP_REQ_CTX *rctx, const char *path,
 977                            const STACK_OF(CONF_VALUE) *headers,
 978                            const char *content_type, BIO *req,
 979                            const char *expected_content_type, int expect_asn1,
 980                            size_t max_resp_len, int timeout, int keep_alive)
 981 {
 982     int use_http_proxy;
 983
 984     if (rctx == NULL) {
 985         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
 986         return 0;
 987     }
 988     use_http_proxy = rctx->proxy != NULL && !rctx->use_ssl;
 989     if (use_http_proxy && rctx->server == NULL) {
 990         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_INVALID_ARGUMENT);
 991         return 0;
 992     }
 993     rctx->max_resp_len = max_resp_len; /* allows for 0: indefinite */
 994
 995     return OSSL_HTTP_REQ_CTX_set_request_line(rctx, req != NULL,
 996                                               use_http_proxy ? rctx->server
 997                                               : NULL, rctx->port, path)
 998         && add1_headers(rctx, headers, rctx->server)
 999         && OSSL_HTTP_REQ_CTX_set_expected(rctx, expected_content_type,
1000                                           expect_asn1, timeout, keep_alive)
1001         && set1_content(rctx, content_type, req);
1002 }
1003
1004 /*-
1005  * Exchange single HTTP request and response according to rctx.
1006  * If rctx->method_POST then use POST, else use GET and ignore content_type.
1007  * The redirection_url output (freed by caller) parameter is used only for GET.
1008  */
1009 BIO *OSSL_HTTP_exchange(OSSL_HTTP_REQ_CTX *rctx, char **redirection_url)
1010 {
1011     BIO *resp;
1012
1013     if (rctx == NULL) {
1014         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
1015         return NULL;
1016     }
1017
1018     if (redirection_url != NULL)
1019         *redirection_url = NULL; /* do this beforehand to prevent dbl free */
1020
1021     resp = OSSL_HTTP_REQ_CTX_exchange(rctx);
1022     if (resp == NULL) {
1023         if (rctx->redirection_url != NULL) {
1024             if (redirection_url == NULL)
1025                 ERR_raise(ERR_LIB_HTTP, HTTP_R_REDIRECTION_NOT_ENABLED);
1026             else
1027                 /* may be NULL if out of memory: */
1028                 *redirection_url = OPENSSL_strdup(rctx->redirection_url);
1029         } else {
1030             char buf[200];
1031             unsigned long err = ERR_peek_error();
1032             int lib = ERR_GET_LIB(err);
1033             int reason = ERR_GET_REASON(err);
1034
1035             if (lib == ERR_LIB_SSL || lib == ERR_LIB_HTTP
1036                     || (lib == ERR_LIB_BIO && reason == BIO_R_CONNECT_TIMEOUT)
1037                     || (lib == ERR_LIB_BIO && reason == BIO_R_CONNECT_ERROR)
1038 #ifndef OPENSSL_NO_CMP
1039                     || (lib == ERR_LIB_CMP
1040                         && reason == CMP_R_POTENTIALLY_INVALID_CERTIFICATE)
1041 #endif
1042                 ) {
1043                 if (rctx->server != NULL) {
1044                     BIO_snprintf(buf, sizeof(buf), "server=http%s://%s%s%s",
1045                                  rctx->use_ssl ? "s" : "", rctx->server,
1046                                  rctx->port != NULL ? ":" : "",
1047                                  rctx->port != NULL ? rctx->port : "");
1048                     ERR_add_error_data(1, buf);
1049                 }
1050                 if (rctx->proxy != NULL)
1051                     ERR_add_error_data(2, " proxy=", rctx->proxy);
1052                 if (err == 0) {
1053                     BIO_snprintf(buf, sizeof(buf), " peer has disconnected%s",
1054                                  rctx->use_ssl ? " violating the protocol" :
1055                                  ", likely because it requires the use of TLS");
1056                     ERR_add_error_data(1, buf);
1057                 }
1058             }
1059         }
1060     }
1061
1062     if (resp != NULL && !BIO_up_ref(resp))
1063         resp = NULL;
1064     return resp;
1065 }
1066
1067 static int redirection_ok(int n_redir, const char *old_url, const char *new_url)
1068 {
1069     if (n_redir >= HTTP_VERSION_MAX_REDIRECTIONS) {
1070         ERR_raise(ERR_LIB_HTTP, HTTP_R_TOO_MANY_REDIRECTIONS);
1071         return 0;
1072     }
1073     if (*new_url == '/') /* redirection to same server => same protocol */
1074         return 1;
1075     if (HAS_PREFIX(old_url, OSSL_HTTPS_NAME":") &&
1076         !HAS_PREFIX(new_url, OSSL_HTTPS_NAME":")) {
1077         ERR_raise(ERR_LIB_HTTP, HTTP_R_REDIRECTION_FROM_HTTPS_TO_HTTP);
1078         return 0;
1079     }
1080     return 1;
1081 }
1082
1083 /* Get data via HTTP from server at given URL, potentially with redirection */
1084 BIO *OSSL_HTTP_get(const char *url, const char *proxy, const char *no_proxy,
1085                    BIO *bio, BIO *rbio,
1086                    OSSL_HTTP_bio_cb_t bio_update_fn, void *arg,
1087                    int buf_size, const STACK_OF(CONF_VALUE) *headers,
1088                    const char *expected_ct, int expect_asn1,
1089                    size_t max_resp_len, int timeout)
1090 {
1091     char *current_url, *redirection_url = NULL;
1092     int n_redirs = 0;
1093     char *host;
1094     char *port;
1095     char *path;
1096     int use_ssl;
1097     OSSL_HTTP_REQ_CTX *rctx;
1098     BIO *resp = NULL;
1099     time_t max_time = timeout > 0 ? time(NULL) + timeout : 0;
1100
1101     if (url == NULL) {
1102         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
1103         return NULL;
1104     }
1105     if ((current_url = OPENSSL_strdup(url)) == NULL)
1106         return NULL;
1107
1108     for (;;) {
1109         if (!OSSL_HTTP_parse_url(current_url, &use_ssl, NULL /* user */, &host,
1110                                  &port, NULL /* port_num */, &path, NULL, NULL))
1111             break;
1112
1113         rctx = OSSL_HTTP_open(host, port, proxy, no_proxy,
1114                               use_ssl, bio, rbio, bio_update_fn, arg,
1115                               buf_size, timeout);
1116     new_rpath:
1117         if (rctx != NULL) {
1118             if (!OSSL_HTTP_set1_request(rctx, path, headers,
1119                                         NULL /* content_type */,
1120                                         NULL /* req */,
1121                                         expected_ct, expect_asn1, max_resp_len,
1122                                         -1 /* use same max time (timeout) */,
1123                                         0 /* no keep_alive */))
1124                 OSSL_HTTP_REQ_CTX_free(rctx);
1125             else
1126                 resp = OSSL_HTTP_exchange(rctx, &redirection_url);
1127         }
1128         OPENSSL_free(path);
1129         if (resp == NULL && redirection_url != NULL) {
1130             if (redirection_ok(++n_redirs, current_url, redirection_url)
1131                     && may_still_retry(max_time, &timeout)) {
1132                 (void)BIO_reset(bio);
1133                 OPENSSL_free(current_url);
1134                 current_url = redirection_url;
1135                 if (*redirection_url == '/') { /* redirection to same server */
1136                     path = OPENSSL_strdup(redirection_url);
1137                     goto new_rpath;
1138                 }
1139                 OPENSSL_free(host);
1140                 OPENSSL_free(port);
1141                 (void)OSSL_HTTP_close(rctx, 1);
1142                 continue;
1143             }
1144             /* if redirection not allowed, ignore it */
1145             OPENSSL_free(redirection_url);
1146         }
1147         OPENSSL_free(host);
1148         OPENSSL_free(port);
1149         if (!OSSL_HTTP_close(rctx, resp != NULL)) {
1150             BIO_free(resp);
1151             resp = NULL;
1152         }
1153         break;
1154     }
1155     OPENSSL_free(current_url);
1156     return resp;
1157 }
1158
1159 /* Exchange request and response over a connection managed via |prctx| */
1160 BIO *OSSL_HTTP_transfer(OSSL_HTTP_REQ_CTX **prctx,
1161                         const char *server, const char *port,
1162                         const char *path, int use_ssl,
1163                         const char *proxy, const char *no_proxy,
1164                         BIO *bio, BIO *rbio,
1165                         OSSL_HTTP_bio_cb_t bio_update_fn, void *arg,
1166                         int buf_size, const STACK_OF(CONF_VALUE) *headers,
1167                         const char *content_type, BIO *req,
1168                         const char *expected_ct, int expect_asn1,
1169                         size_t max_resp_len, int timeout, int keep_alive)
1170 {
1171     OSSL_HTTP_REQ_CTX *rctx = prctx == NULL ? NULL : *prctx;
1172     BIO *resp = NULL;
1173
1174     if (rctx == NULL) {
1175         rctx = OSSL_HTTP_open(server, port, proxy, no_proxy,
1176                               use_ssl, bio, rbio, bio_update_fn, arg,
1177                               buf_size, timeout);
1178         timeout = -1; /* Already set during opening the connection */
1179     }
1180     if (rctx != NULL) {
1181         if (OSSL_HTTP_set1_request(rctx, path, headers, content_type, req,
1182                                    expected_ct, expect_asn1,
1183                                    max_resp_len, timeout, keep_alive))
1184             resp = OSSL_HTTP_exchange(rctx, NULL);
1185         if (resp == NULL || !OSSL_HTTP_is_alive(rctx)) {
1186             if (!OSSL_HTTP_close(rctx, resp != NULL)) {
1187                 BIO_free(resp);
1188                 resp = NULL;
1189             }
1190             rctx = NULL;
1191         }
1192     }
1193     if (prctx != NULL)
1194         *prctx = rctx;
1195     return resp;
1196 }
1197
1198 int OSSL_HTTP_close(OSSL_HTTP_REQ_CTX *rctx, int ok)
1199 {
1200     BIO *wbio;
1201     int ret = 1;
1202
1203     /* callback can be used to finish TLS session and free its BIO */
1204     if (rctx != NULL && rctx->upd_fn != NULL) {
1205         wbio = (*rctx->upd_fn)(rctx->wbio, rctx->upd_arg,
1206                                0 /* disconnect */, ok);
1207         ret = wbio != NULL;
1208         if (ret)
1209             rctx->wbio = wbio;
1210     }
1211     OSSL_HTTP_REQ_CTX_free(rctx);
1212     return ret;
1213 }
1214
1215 /* BASE64 encoder used for encoding basic proxy authentication credentials */
1216 static char *base64encode(const void *buf, size_t len)
1217 {
1218     int i;
1219     size_t outl;
1220     char *out;
1221
1222     /* Calculate size of encoded data */
1223     outl = (len / 3);
1224     if (len % 3 > 0)
1225         outl++;
1226     outl <<= 2;
1227     out = OPENSSL_malloc(outl + 1);
1228     if (out == NULL)
1229         return 0;
1230
1231     i = EVP_EncodeBlock((unsigned char *)out, buf, len);
1232     if (!ossl_assert(0 <= i && (size_t)i <= outl)) {
1233         OPENSSL_free(out);
1234         return NULL;
1235     }
1236     return out;
1237 }
1238
1239 /*
1240  * Promote the given connection BIO using the CONNECT method for a TLS proxy.
1241  * This is typically called by an app, so bio_err and prog are used unless NULL
1242  * to print additional diagnostic information in a user-oriented way.
1243  */
1244 int OSSL_HTTP_proxy_connect(BIO *bio, const char *server, const char *port,
1245                             const char *proxyuser, const char *proxypass,
1246                             int timeout, BIO *bio_err, const char *prog)
1247 {
1248 #undef BUF_SIZE
1249 #define BUF_SIZE (8 * 1024)
1250     char *mbuf = OPENSSL_malloc(BUF_SIZE);
1251     char *mbufp;
1252     int read_len = 0;
1253     int ret = 0;
1254     BIO *fbio = BIO_new(BIO_f_buffer());
1255     int rv;
1256     time_t max_time = timeout > 0 ? time(NULL) + timeout : 0;
1257
1258     if (bio == NULL || server == NULL
1259             || (bio_err != NULL && prog == NULL)) {
1260         ERR_raise(ERR_LIB_HTTP, ERR_R_PASSED_NULL_PARAMETER);
1261         goto end;
1262     }
1263     if (port == NULL || *port == '\0')
1264         port = OSSL_HTTPS_PORT;
1265
1266     if (mbuf == NULL || fbio == NULL) {
1267         BIO_printf(bio_err /* may be NULL */, "%s: out of memory", prog);
1268         goto end;
1269     }
1270     BIO_push(fbio, bio);
1271
1272     BIO_printf(fbio, "CONNECT %s:%s "HTTP_1_0"\r\n", server, port);
1273
1274     /*
1275      * Workaround for broken proxies which would otherwise close
1276      * the connection when entering tunnel mode (e.g., Squid 2.6)
1277      */
1278     BIO_printf(fbio, "Proxy-Connection: Keep-Alive\r\n");
1279
1280     /* Support for basic (base64) proxy authentication */
1281     if (proxyuser != NULL) {
1282         size_t len = strlen(proxyuser) + 1;
1283         char *proxyauth, *proxyauthenc = NULL;
1284
1285         if (proxypass != NULL)
1286             len += strlen(proxypass);
1287         proxyauth = OPENSSL_malloc(len + 1);
1288         if (proxyauth == NULL)
1289             goto end;
1290         if (BIO_snprintf(proxyauth, len + 1, "%s:%s", proxyuser,
1291                          proxypass != NULL ? proxypass : "") != (int)len)
1292             goto proxy_end;
1293         proxyauthenc = base64encode(proxyauth, len);
1294         if (proxyauthenc != NULL) {
1295             BIO_printf(fbio, "Proxy-Authorization: Basic %s\r\n", proxyauthenc);
1296             OPENSSL_clear_free(proxyauthenc, strlen(proxyauthenc));
1297         }
1298     proxy_end:
1299         OPENSSL_clear_free(proxyauth, len);
1300         if (proxyauthenc == NULL)
1301             goto end;
1302     }
1303
1304     /* Terminate the HTTP CONNECT request */
1305     BIO_printf(fbio, "\r\n");
1306
1307     for (;;) {
1308         if (BIO_flush(fbio) != 0)
1309             break;
1310         /* potentially needs to be retried if BIO is non-blocking */
1311         if (!BIO_should_retry(fbio))
1312             break;
1313     }
1314
1315     for (;;) {
1316         /* will not actually wait if timeout == 0 */
1317         rv = BIO_wait(fbio, max_time, 100 /* milliseconds */);
1318         if (rv <= 0) {
1319             BIO_printf(bio_err, "%s: HTTP CONNECT %s\n", prog,
1320                        rv == 0 ? "timed out" : "failed waiting for data");
1321             goto end;
1322         }
1323
1324         /*-
1325          * The first line is the HTTP response.
1326          * According to RFC 7230, it is formatted exactly like this:
1327          * HTTP/d.d ddd reason text\r\n
1328          */
1329         read_len = BIO_gets(fbio, mbuf, BUF_SIZE);
1330         /* the BIO may not block, so we must wait for the 1st line to come in */
1331         if (read_len < (int)HTTP_LINE1_MINLEN)
1332             continue;
1333
1334         /* Check for HTTP/1.x */
1335         mbufp = mbuf;
1336         if (!CHECK_AND_SKIP_PREFIX(mbufp, HTTP_PREFIX)) {
1337             ERR_raise(ERR_LIB_HTTP, HTTP_R_HEADER_PARSE_ERROR);
1338             BIO_printf(bio_err, "%s: HTTP CONNECT failed, non-HTTP response\n",
1339                        prog);
1340             /* Wrong protocol, not even HTTP, so stop reading headers */
1341             goto end;
1342         }
1343         if (!HAS_PREFIX(mbufp, HTTP_VERSION_PATT)) {
1344             ERR_raise(ERR_LIB_HTTP, HTTP_R_RECEIVED_WRONG_HTTP_VERSION);
1345             BIO_printf(bio_err,
1346                        "%s: HTTP CONNECT failed, bad HTTP version %.*s\n",
1347                        prog, (int)HTTP_VERSION_STR_LEN, mbufp);
1348             goto end;
1349         }
1350         mbufp += HTTP_VERSION_STR_LEN;
1351
1352         /* RFC 7231 4.3.6: any 2xx status code is valid */
1353         if (!HAS_PREFIX(mbufp, " 2")) {
1354             if (ossl_isspace(*mbufp))
1355                 mbufp++;
1356             /* chop any trailing whitespace */
1357             while (read_len > 0 && ossl_isspace(mbuf[read_len - 1]))
1358                 read_len--;
1359             mbuf[read_len] = '\0';
1360             ERR_raise_data(ERR_LIB_HTTP, HTTP_R_CONNECT_FAILURE,
1361                            "reason=%s", mbufp);
1362             BIO_printf(bio_err, "%s: HTTP CONNECT failed, reason=%s\n",
1363                        prog, mbufp);
1364             goto end;
1365         }
1366         ret = 1;
1367         break;
1368     }
1369
1370     /* Read past all following headers */
1371     do {
1372         /*
1373          * This does not necessarily catch the case when the full
1374          * HTTP response came in in more than a single TCP message.
1375          */
1376         read_len = BIO_gets(fbio, mbuf, BUF_SIZE);
1377     } while (read_len > 2);
1378
1379  end:
1380     if (fbio != NULL) {
1381         (void)BIO_flush(fbio);
1382         BIO_pop(fbio);
1383         BIO_free(fbio);
1384     }
1385     OPENSSL_free(mbuf);
1386     return ret;
1387 #undef BUF_SIZE
1388 }