crypto/async/async.c

   1 /*
   2  * Written by Matt Caswell (matt@openssl.org) for the OpenSSL project.
   3  */
   4 /* ====================================================================
   5  * Copyright (c) 2015 The OpenSSL Project.  All rights reserved.
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  *
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  *
  14  * 2. Redistributions in binary form must reproduce the above copyright
  15  *    notice, this list of conditions and the following disclaimer in
  16  *    the documentation and/or other materials provided with the
  17  *    distribution.
  18  *
  19  * 3. All advertising materials mentioning features or use of this
  20  *    software must display the following acknowledgment:
  21  *    "This product includes software developed by the OpenSSL Project
  22  *    for use in the OpenSSL Toolkit. (http://www.OpenSSL.org/)"
  23  *
  24  * 4. The names "OpenSSL Toolkit" and "OpenSSL Project" must not be used to
  25  *    endorse or promote products derived from this software without
  26  *    prior written permission. For written permission, please contact
  27  *    licensing@OpenSSL.org.
  28  *
  29  * 5. Products derived from this software may not be called "OpenSSL"
  30  *    nor may "OpenSSL" appear in their names without prior written
  31  *    permission of the OpenSSL Project.
  32  *
  33  * 6. Redistributions of any form whatsoever must retain the following
  34  *    acknowledgment:
  35  *    "This product includes software developed by the OpenSSL Project
  36  *    for use in the OpenSSL Toolkit (http://www.OpenSSL.org/)"
  37  *
  38  * THIS SOFTWARE IS PROVIDED BY THE OpenSSL PROJECT ``AS IS'' AND ANY
  39  * EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  40  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  41  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE OpenSSL PROJECT OR
  42  * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  43  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  44  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  45  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  46  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
  47  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  48  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
  49  * OF THE POSSIBILITY OF SUCH DAMAGE.
  50  * ====================================================================
  51  */
  52
  53 /*
  54  * Without this we start getting longjmp crashes because it thinks we're jumping
  55  * up the stack when in fact we are jumping to an entirely different stack. The
  56  * cost of this is not having certain buffer overrun/underrun checks etc for
  57  * this source file :-(
  58  */
  59 #undef _FORTIFY_SOURCE
  60
  61 /* This must be the first #include file */
  62 #include "async_locl.h"
  63
  64 #include <internal/threads.h>
  65 #include <openssl/err.h>
  66 #include <internal/cryptlib_int.h>
  67 #include <string.h>
  68
  69 #define ASYNC_JOB_RUNNING   0
  70 #define ASYNC_JOB_PAUSING   1
  71 #define ASYNC_JOB_PAUSED    2
  72 #define ASYNC_JOB_STOPPING  3
  73
  74 static CRYPTO_THREAD_LOCAL ctxkey;
  75 static CRYPTO_THREAD_LOCAL poolkey;
  76
  77 static void async_free_pool_internal(async_pool *pool);
  78
  79 static async_ctx *async_ctx_new(void)
  80 {
  81     async_ctx *nctx = NULL;
  82
  83     nctx = OPENSSL_malloc(sizeof (async_ctx));
  84     if (nctx == NULL) {
  85         ASYNCerr(ASYNC_F_ASYNC_CTX_NEW, ERR_R_MALLOC_FAILURE);
  86         goto err;
  87     }
  88
  89     async_fibre_init_dispatcher(&nctx->dispatcher);
  90     nctx->currjob = NULL;
  91     nctx->blocked = 0;
  92     if (!CRYPTO_THREAD_set_local(&ctxkey, nctx))
  93         goto err;
  94
  95     return nctx;
  96 err:
  97     OPENSSL_free(nctx);
  98
  99     return NULL;
 100 }
 101
 102 async_ctx *async_get_ctx(void)
 103 {
 104     if (!OPENSSL_init_crypto(OPENSSL_INIT_ASYNC, NULL))
 105         return NULL;
 106
 107     return (async_ctx *)CRYPTO_THREAD_get_local(&ctxkey);
 108 }
 109
 110 static int async_ctx_free(void)
 111 {
 112     async_ctx *ctx;
 113
 114     ctx = async_get_ctx();
 115
 116     if (!CRYPTO_THREAD_set_local(&ctxkey, NULL))
 117         return 0;
 118
 119     OPENSSL_free(ctx);
 120
 121     return 1;
 122 }
 123
 124 static ASYNC_JOB *async_job_new(void)
 125 {
 126     ASYNC_JOB *job = NULL;
 127
 128     job = OPENSSL_zalloc(sizeof (ASYNC_JOB));
 129     if (job == NULL) {
 130         ASYNCerr(ASYNC_F_ASYNC_JOB_NEW, ERR_R_MALLOC_FAILURE);
 131         return NULL;
 132     }
 133
 134     job->status = ASYNC_JOB_RUNNING;
 135
 136     return job;
 137 }
 138
 139 static void async_job_free(ASYNC_JOB *job)
 140 {
 141     if (job != NULL) {
 142         OPENSSL_free(job->funcargs);
 143         async_fibre_free(&job->fibrectx);
 144         OPENSSL_free(job);
 145     }
 146 }
 147
 148 static ASYNC_JOB *async_get_pool_job(void) {
 149     ASYNC_JOB *job;
 150     async_pool *pool;
 151
 152     pool = (async_pool *)CRYPTO_THREAD_get_local(&poolkey);
 153     if (pool == NULL) {
 154         /*
 155          * Pool has not been initialised, so init with the defaults, i.e.
 156          * no max size and no pre-created jobs
 157          */
 158         if (ASYNC_init_thread(0, 0) == 0)
 159             return NULL;
 160         pool = (async_pool *)CRYPTO_THREAD_get_local(&poolkey);
 161     }
 162
 163     job = sk_ASYNC_JOB_pop(pool->jobs);
 164     if (job == NULL) {
 165         /* Pool is empty */
 166         if ((pool->max_size != 0) && (pool->curr_size >= pool->max_size))
 167             return NULL;
 168
 169         job = async_job_new();
 170         if (job != NULL) {
 171             if (! async_fibre_makecontext(&job->fibrectx)) {
 172                 async_job_free(job);
 173                 return NULL;
 174             }
 175             pool->curr_size++;
 176         }
 177     }
 178     return job;
 179 }
 180
 181 static void async_release_job(ASYNC_JOB *job) {
 182     async_pool *pool;
 183
 184     pool = (async_pool *)CRYPTO_THREAD_get_local(&poolkey);
 185     OPENSSL_free(job->funcargs);
 186     job->funcargs = NULL;
 187     sk_ASYNC_JOB_push(pool->jobs, job);
 188 }
 189
 190 void async_start_func(void)
 191 {
 192     ASYNC_JOB *job;
 193     async_ctx *ctx = async_get_ctx();
 194
 195     while (1) {
 196         /* Run the job */
 197         job = ctx->currjob;
 198         job->ret = job->func(job->funcargs);
 199
 200         /* Stop the job */
 201         job->status = ASYNC_JOB_STOPPING;
 202         if (!async_fibre_swapcontext(&job->fibrectx,
 203                                      &ctx->dispatcher, 1)) {
 204             /*
 205              * Should not happen. Getting here will close the thread...can't do
 206              * much about it
 207              */
 208             ASYNCerr(ASYNC_F_ASYNC_START_FUNC, ASYNC_R_FAILED_TO_SWAP_CONTEXT);
 209         }
 210     }
 211 }
 212
 213 int ASYNC_start_job(ASYNC_JOB **job, ASYNC_WAIT_CTX *wctx, int *ret,
 214                     int (*func)(void *), void *args, size_t size)
 215 {
 216     async_ctx *ctx = async_get_ctx();
 217     if (ctx == NULL)
 218         ctx = async_ctx_new();
 219     if (ctx == NULL) {
 220         return ASYNC_ERR;
 221     }
 222
 223     if (*job) {
 224         ctx->currjob = *job;
 225     }
 226
 227     for (;;) {
 228         if (ctx->currjob != NULL) {
 229             if (ctx->currjob->status == ASYNC_JOB_STOPPING) {
 230                 *ret = ctx->currjob->ret;
 231                 ctx->currjob->waitctx = NULL;
 232                 async_release_job(ctx->currjob);
 233                 ctx->currjob = NULL;
 234                 *job = NULL;
 235                 return ASYNC_FINISH;
 236             }
 237
 238             if (ctx->currjob->status == ASYNC_JOB_PAUSING) {
 239                 *job = ctx->currjob;
 240                 ctx->currjob->status = ASYNC_JOB_PAUSED;
 241                 ctx->currjob = NULL;
 242                 return ASYNC_PAUSE;
 243             }
 244
 245             if (ctx->currjob->status == ASYNC_JOB_PAUSED) {
 246                 ctx->currjob = *job;
 247                 /* Resume previous job */
 248                 if (!async_fibre_swapcontext(&ctx->dispatcher,
 249                         &ctx->currjob->fibrectx, 1)) {
 250                     ASYNCerr(ASYNC_F_ASYNC_START_JOB,
 251                              ASYNC_R_FAILED_TO_SWAP_CONTEXT);
 252                     goto err;
 253                 }
 254                 continue;
 255             }
 256
 257             /* Should not happen */
 258             ASYNCerr(ASYNC_F_ASYNC_START_JOB, ERR_R_INTERNAL_ERROR);
 259             async_release_job(ctx->currjob);
 260             ctx->currjob = NULL;
 261             *job = NULL;
 262             return ASYNC_ERR;
 263         }
 264
 265         /* Start a new job */
 266         if ((ctx->currjob = async_get_pool_job()) == NULL) {
 267             return ASYNC_NO_JOBS;
 268         }
 269
 270         if (args != NULL) {
 271             ctx->currjob->funcargs = OPENSSL_malloc(size);
 272             if (ctx->currjob->funcargs == NULL) {
 273                 ASYNCerr(ASYNC_F_ASYNC_START_JOB, ERR_R_MALLOC_FAILURE);
 274                 async_release_job(ctx->currjob);
 275                 ctx->currjob = NULL;
 276                 return ASYNC_ERR;
 277             }
 278             memcpy(ctx->currjob->funcargs, args, size);
 279         } else {
 280             ctx->currjob->funcargs = NULL;
 281         }
 282
 283         ctx->currjob->func = func;
 284         ctx->currjob->waitctx = wctx;
 285         if (!async_fibre_swapcontext(&ctx->dispatcher,
 286                 &ctx->currjob->fibrectx, 1)) {
 287             ASYNCerr(ASYNC_F_ASYNC_START_JOB, ASYNC_R_FAILED_TO_SWAP_CONTEXT);
 288             goto err;
 289         }
 290     }
 291
 292 err:
 293     async_release_job(ctx->currjob);
 294     ctx->currjob = NULL;
 295     *job = NULL;
 296     return ASYNC_ERR;
 297 }
 298
 299 int ASYNC_pause_job(void)
 300 {
 301     ASYNC_JOB *job;
 302     async_ctx *ctx = async_get_ctx();
 303
 304     if (ctx == NULL
 305             || ctx->currjob == NULL
 306             || ctx->blocked) {
 307         /*
 308          * Could be we've deliberately not been started within a job so this is
 309          * counted as success.
 310          */
 311         return 1;
 312     }
 313
 314     job = ctx->currjob;
 315     job->status = ASYNC_JOB_PAUSING;
 316
 317     if (!async_fibre_swapcontext(&job->fibrectx,
 318                                  &ctx->dispatcher, 1)) {
 319         ASYNCerr(ASYNC_F_ASYNC_PAUSE_JOB, ASYNC_R_FAILED_TO_SWAP_CONTEXT);
 320         return 0;
 321     }
 322     /* Reset counts of added and deleted fds */
 323     async_wait_ctx_reset_counts(job->waitctx);
 324
 325     return 1;
 326 }
 327
 328 static void async_empty_pool(async_pool *pool)
 329 {
 330     ASYNC_JOB *job;
 331
 332     if (!pool || !pool->jobs)
 333         return;
 334
 335     do {
 336         job = sk_ASYNC_JOB_pop(pool->jobs);
 337         async_job_free(job);
 338     } while (job);
 339 }
 340
 341 int async_init(void)
 342 {
 343     if (!CRYPTO_THREAD_init_local(&ctxkey, NULL))
 344         return 0;
 345
 346     if (!CRYPTO_THREAD_init_local(&poolkey, NULL)) {
 347         CRYPTO_THREAD_cleanup_local(&ctxkey);
 348         return 0;
 349     }
 350
 351     return 1;
 352 }
 353
 354 void async_deinit(void)
 355 {
 356     CRYPTO_THREAD_cleanup_local(&ctxkey);
 357     CRYPTO_THREAD_cleanup_local(&poolkey);
 358 }
 359
 360 int ASYNC_init_thread(size_t max_size, size_t init_size)
 361 {
 362     async_pool *pool;
 363     size_t curr_size = 0;
 364
 365     if (init_size > max_size) {
 366         ASYNCerr(ASYNC_F_ASYNC_INIT_THREAD, ASYNC_R_INVALID_POOL_SIZE);
 367         return 0;
 368     }
 369
 370     if (!OPENSSL_init_crypto(OPENSSL_INIT_ASYNC, NULL)) {
 371         return 0;
 372     }
 373     if (!ossl_init_thread_start(OPENSSL_INIT_THREAD_ASYNC)) {
 374         return 0;
 375     }
 376
 377     pool = OPENSSL_zalloc(sizeof *pool);
 378     if (pool == NULL) {
 379         ASYNCerr(ASYNC_F_ASYNC_INIT_THREAD, ERR_R_MALLOC_FAILURE);
 380         return 0;
 381     }
 382
 383     pool->jobs = sk_ASYNC_JOB_new_null();
 384     if (pool->jobs == NULL) {
 385         ASYNCerr(ASYNC_F_ASYNC_INIT_THREAD, ERR_R_MALLOC_FAILURE);
 386         OPENSSL_free(pool);
 387         return 0;
 388     }
 389
 390     pool->max_size = max_size;
 391
 392     /* Pre-create jobs as required */
 393     while (init_size--) {
 394         ASYNC_JOB *job;
 395         job = async_job_new();
 396         if (job == NULL || !async_fibre_makecontext(&job->fibrectx)) {
 397             /*
 398              * Not actually fatal because we already created the pool, just
 399              * skip creation of any more jobs
 400              */
 401             async_job_free(job);
 402             break;
 403         }
 404         job->funcargs = NULL;
 405         sk_ASYNC_JOB_push(pool->jobs, job);
 406         curr_size++;
 407     }
 408     pool->curr_size = curr_size;
 409     if (!CRYPTO_THREAD_set_local(&poolkey, pool)) {
 410         ASYNCerr(ASYNC_F_ASYNC_INIT_THREAD, ASYNC_R_FAILED_TO_SET_POOL);
 411         goto err;
 412     }
 413
 414     return 1;
 415 err:
 416     async_free_pool_internal(pool);
 417     return 0;
 418 }
 419
 420 static void async_free_pool_internal(async_pool *pool)
 421 {
 422     if (pool == NULL)
 423         return;
 424
 425     async_empty_pool(pool);
 426     sk_ASYNC_JOB_free(pool->jobs);
 427     OPENSSL_free(pool);
 428     CRYPTO_THREAD_set_local(&poolkey, NULL);
 429     async_local_cleanup();
 430     async_ctx_free();
 431 }
 432
 433 void ASYNC_cleanup_thread(void)
 434 {
 435     async_free_pool_internal((async_pool *)CRYPTO_THREAD_get_local(&poolkey));
 436 }
 437
 438 ASYNC_JOB *ASYNC_get_current_job(void)
 439 {
 440     async_ctx *ctx;
 441
 442     ctx = async_get_ctx();
 443     if(ctx == NULL)
 444         return NULL;
 445
 446     return ctx->currjob;
 447 }
 448
 449 ASYNC_WAIT_CTX *ASYNC_get_wait_ctx(ASYNC_JOB *job)
 450 {
 451     return job->waitctx;
 452 }
 453
 454 void ASYNC_block_pause(void)
 455 {
 456     async_ctx *ctx = async_get_ctx();
 457     if (ctx == NULL || ctx->currjob == NULL) {
 458         /*
 459          * We're not in a job anyway so ignore this
 460          */
 461         return;
 462     }
 463     ctx->blocked++;
 464 }
 465
 466 void ASYNC_unblock_pause(void)
 467 {
 468     async_ctx *ctx = async_get_ctx();
 469     if (ctx == NULL || ctx->currjob == NULL) {
 470         /*
 471          * We're not in a job anyway so ignore this
 472          */
 473         return;
 474     }
 475     if(ctx->blocked > 0)
 476         ctx->blocked--;
 477 }