crypto/async/async.c

   1 /*
   2  * Written by Matt Caswell (matt@openssl.org) for the OpenSSL project.
   3  */
   4 /* ====================================================================
   5  * Copyright (c) 2015 The OpenSSL Project.  All rights reserved.
   6  *
   7  * Redistribution and use in source and binary forms, with or without
   8  * modification, are permitted provided that the following conditions
   9  * are met:
  10  *
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  *
  14  * 2. Redistributions in binary form must reproduce the above copyright
  15  *    notice, this list of conditions and the following disclaimer in
  16  *    the documentation and/or other materials provided with the
  17  *    distribution.
  18  *
  19  * 3. All advertising materials mentioning features or use of this
  20  *    software must display the following acknowledgment:
  21  *    "This product includes software developed by the OpenSSL Project
  22  *    for use in the OpenSSL Toolkit. (http://www.OpenSSL.org/)"
  23  *
  24  * 4. The names "OpenSSL Toolkit" and "OpenSSL Project" must not be used to
  25  *    endorse or promote products derived from this software without
  26  *    prior written permission. For written permission, please contact
  27  *    licensing@OpenSSL.org.
  28  *
  29  * 5. Products derived from this software may not be called "OpenSSL"
  30  *    nor may "OpenSSL" appear in their names without prior written
  31  *    permission of the OpenSSL Project.
  32  *
  33  * 6. Redistributions of any form whatsoever must retain the following
  34  *    acknowledgment:
  35  *    "This product includes software developed by the OpenSSL Project
  36  *    for use in the OpenSSL Toolkit (http://www.OpenSSL.org/)"
  37  *
  38  * THIS SOFTWARE IS PROVIDED BY THE OpenSSL PROJECT ``AS IS'' AND ANY
  39  * EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  40  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  41  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE OpenSSL PROJECT OR
  42  * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  43  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  44  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  45  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  46  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
  47  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  48  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
  49  * OF THE POSSIBILITY OF SUCH DAMAGE.
  50  * ====================================================================
  51  */
  52
  53 /*
  54  * Without this we start getting longjmp crashes because it thinks we're jumping
  55  * up the stack when in fact we are jumping to an entirely different stack. The
  56  * cost of this is not having certain buffer overrun/underrun checks etc for
  57  * this source file :-(
  58  */
  59 #undef _FORTIFY_SOURCE
  60
  61 /* This must be the first #include file */
  62 #include "async_locl.h"
  63
  64 #include <internal/threads.h>
  65 #include <openssl/err.h>
  66 #include <internal/cryptlib_int.h>
  67 #include <string.h>
  68
  69 #define ASYNC_JOB_RUNNING   0
  70 #define ASYNC_JOB_PAUSING   1
  71 #define ASYNC_JOB_PAUSED    2
  72 #define ASYNC_JOB_STOPPING  3
  73
  74 static CRYPTO_THREAD_LOCAL ctxkey;
  75 static CRYPTO_THREAD_LOCAL poolkey;
  76
  77 static void async_free_pool_internal(async_pool *pool);
  78
  79 static async_ctx *async_ctx_new(void)
  80 {
  81     async_ctx *nctx = NULL;
  82
  83     nctx = OPENSSL_malloc(sizeof (async_ctx));
  84     if (nctx == NULL) {
  85         ASYNCerr(ASYNC_F_ASYNC_CTX_NEW, ERR_R_MALLOC_FAILURE);
  86         goto err;
  87     }
  88
  89     async_fibre_init_dispatcher(&nctx->dispatcher);
  90     nctx->currjob = NULL;
  91     nctx->blocked = 0;
  92     if (!CRYPTO_THREAD_set_local(&ctxkey, nctx))
  93         goto err;
  94
  95     return nctx;
  96 err:
  97     OPENSSL_free(nctx);
  98
  99     return NULL;
 100 }
 101
 102 async_ctx *async_get_ctx(void)
 103 {
 104     if (!OPENSSL_init_crypto(OPENSSL_INIT_ASYNC, NULL))
 105         return NULL;
 106
 107     return (async_ctx *)CRYPTO_THREAD_get_local(&ctxkey);
 108 }
 109
 110 static int async_ctx_free(void)
 111 {
 112     async_ctx *ctx;
 113
 114     ctx = async_get_ctx();
 115
 116     if (!CRYPTO_THREAD_set_local(&ctxkey, NULL))
 117         return 0;
 118
 119     OPENSSL_free(ctx);
 120
 121     return 1;
 122 }
 123
 124 static ASYNC_JOB *async_job_new(void)
 125 {
 126     ASYNC_JOB *job = NULL;
 127
 128     job = OPENSSL_zalloc(sizeof (ASYNC_JOB));
 129     if (job == NULL) {
 130         ASYNCerr(ASYNC_F_ASYNC_JOB_NEW, ERR_R_MALLOC_FAILURE);
 131         return NULL;
 132     }
 133
 134     job->status = ASYNC_JOB_RUNNING;
 135
 136     return job;
 137 }
 138
 139 static void async_job_free(ASYNC_JOB *job)
 140 {
 141     if (job != NULL) {
 142         OPENSSL_free(job->funcargs);
 143         async_fibre_free(&job->fibrectx);
 144         OPENSSL_free(job);
 145     }
 146 }
 147
 148 static ASYNC_JOB *async_get_pool_job(void) {
 149     ASYNC_JOB *job;
 150     async_pool *pool;
 151
 152     pool = (async_pool *)CRYPTO_THREAD_get_local(&poolkey);
 153     if (pool == NULL) {
 154         /*
 155          * Pool has not been initialised, so init with the defaults, i.e.
 156          * no max size and no pre-created jobs
 157          */
 158         if (ASYNC_init_thread(0, 0) == 0)
 159             return NULL;
 160         pool = (async_pool *)CRYPTO_THREAD_get_local(&poolkey);
 161     }
 162
 163     job = sk_ASYNC_JOB_pop(pool->jobs);
 164     if (job == NULL) {
 165         /* Pool is empty */
 166         if ((pool->max_size != 0) && (pool->curr_size >= pool->max_size))
 167             return NULL;
 168
 169         job = async_job_new();
 170         if (job != NULL) {
 171             if (! async_fibre_makecontext(&job->fibrectx)) {
 172                 async_job_free(job);
 173                 return NULL;
 174             }
 175             pool->curr_size++;
 176         }
 177     }
 178     return job;
 179 }
 180
 181 static void async_release_job(ASYNC_JOB *job) {
 182     async_pool *pool;
 183
 184     pool = (async_pool *)CRYPTO_THREAD_get_local(&poolkey);
 185     OPENSSL_free(job->funcargs);
 186     job->funcargs = NULL;
 187     sk_ASYNC_JOB_push(pool->jobs, job);
 188 }
 189
 190 void async_start_func(void)
 191 {
 192     ASYNC_JOB *job;
 193     async_ctx *ctx = async_get_ctx();
 194
 195     while (1) {
 196         /* Run the job */
 197         job = ctx->currjob;
 198         job->ret = job->func(job->funcargs);
 199
 200         /* Stop the job */
 201         job->status = ASYNC_JOB_STOPPING;
 202         if (!async_fibre_swapcontext(&job->fibrectx,
 203                                      &ctx->dispatcher, 1)) {
 204             /*
 205              * Should not happen. Getting here will close the thread...can't do
 206              * much about it
 207              */
 208             ASYNCerr(ASYNC_F_ASYNC_START_FUNC, ASYNC_R_FAILED_TO_SWAP_CONTEXT);
 209         }
 210     }
 211 }
 212
 213 int ASYNC_start_job(ASYNC_JOB **job, ASYNC_WAIT_CTX *wctx, int *ret,
 214                     int (*func)(void *), void *args, size_t size)
 215 {
 216     async_ctx *ctx = async_get_ctx();
 217     if (ctx == NULL)
 218         ctx = async_ctx_new();
 219     if (ctx == NULL) {
 220         return ASYNC_ERR;
 221     }
 222
 223     if (*job) {
 224         ctx->currjob = *job;
 225     }
 226
 227     for (;;) {
 228         if (ctx->currjob != NULL) {
 229             if (ctx->currjob->status == ASYNC_JOB_STOPPING) {
 230                 *ret = ctx->currjob->ret;
 231                 ctx->currjob->waitctx = NULL;
 232                 async_release_job(ctx->currjob);
 233                 ctx->currjob = NULL;
 234                 *job = NULL;
 235                 return ASYNC_FINISH;
 236             }
 237
 238             if (ctx->currjob->status == ASYNC_JOB_PAUSING) {
 239                 *job = ctx->currjob;
 240                 ctx->currjob->status = ASYNC_JOB_PAUSED;
 241                 ctx->currjob = NULL;
 242                 return ASYNC_PAUSE;
 243             }
 244
 245             if (ctx->currjob->status == ASYNC_JOB_PAUSED) {
 246                 ctx->currjob = *job;
 247                 /* Resume previous job */
 248                 if (!async_fibre_swapcontext(&ctx->dispatcher,
 249                         &ctx->currjob->fibrectx, 1)) {
 250                     ASYNCerr(ASYNC_F_ASYNC_START_JOB,
 251                              ASYNC_R_FAILED_TO_SWAP_CONTEXT);
 252                     goto err;
 253                 }
 254                 continue;
 255             }
 256
 257             /* Should not happen */
 258             ASYNCerr(ASYNC_F_ASYNC_START_JOB, ERR_R_INTERNAL_ERROR);
 259             async_release_job(ctx->currjob);
 260             ctx->currjob = NULL;
 261             *job = NULL;
 262             return ASYNC_ERR;
 263         }
 264
 265         /* Start a new job */
 266         if ((ctx->currjob = async_get_pool_job()) == NULL) {
 267             return ASYNC_NO_JOBS;
 268         }
 269
 270         if (args != NULL) {
 271             ctx->currjob->funcargs = OPENSSL_malloc(size);
 272             if (ctx->currjob->funcargs == NULL) {
 273                 ASYNCerr(ASYNC_F_ASYNC_START_JOB, ERR_R_MALLOC_FAILURE);
 274                 async_release_job(ctx->currjob);
 275                 ctx->currjob = NULL;
 276                 return ASYNC_ERR;
 277             }
 278             memcpy(ctx->currjob->funcargs, args, size);
 279         } else {
 280             ctx->currjob->funcargs = NULL;
 281         }
 282
 283         ctx->currjob->func = func;
 284         ctx->currjob->waitctx = wctx;
 285         if (!async_fibre_swapcontext(&ctx->dispatcher,
 286                 &ctx->currjob->fibrectx, 1)) {
 287             ASYNCerr(ASYNC_F_ASYNC_START_JOB, ASYNC_R_FAILED_TO_SWAP_CONTEXT);
 288             goto err;
 289         }
 290     }
 291
 292 err:
 293     async_release_job(ctx->currjob);
 294     ctx->currjob = NULL;
 295     *job = NULL;
 296     return ASYNC_ERR;
 297 }
 298
 299 int ASYNC_pause_job(void)
 300 {
 301     ASYNC_JOB *job;
 302     async_ctx *ctx = async_get_ctx();
 303
 304     if (ctx == NULL
 305             || ctx->currjob == NULL
 306             || ctx->blocked) {
 307         /*
 308          * Could be we've deliberately not been started within a job so this is
 309          * counted as success.
 310          */
 311         return 1;
 312     }
 313
 314     job = ctx->currjob;
 315     job->status = ASYNC_JOB_PAUSING;
 316
 317     if (!async_fibre_swapcontext(&job->fibrectx,
 318                                  &ctx->dispatcher, 1)) {
 319         ASYNCerr(ASYNC_F_ASYNC_PAUSE_JOB, ASYNC_R_FAILED_TO_SWAP_CONTEXT);
 320         return 0;
 321     }
 322     /* Reset counts of added and deleted fds */
 323     async_wait_ctx_reset_counts(job->waitctx);
 324
 325     return 1;
 326 }
 327
 328 static void async_empty_pool(async_pool *pool)
 329 {
 330     ASYNC_JOB *job;
 331
 332     if (!pool || !pool->jobs)
 333         return;
 334
 335     do {
 336         job = sk_ASYNC_JOB_pop(pool->jobs);
 337         async_job_free(job);
 338     } while (job);
 339 }
 340
 341 int async_init(void)
 342 {
 343     if (!CRYPTO_THREAD_init_local(&ctxkey, NULL))
 344         return 0;
 345
 346     if (!CRYPTO_THREAD_init_local(&poolkey, NULL)) {
 347         CRYPTO_THREAD_cleanup_local(&ctxkey);
 348         return 0;
 349     }
 350
 351     return 1;
 352 }
 353
 354 /* TODO: FIXME: This needs to be called by something!!! */
 355 void async_deinit(void);
 356 void async_deinit(void)
 357 {
 358     CRYPTO_THREAD_cleanup_local(&ctxkey);
 359     CRYPTO_THREAD_cleanup_local(&poolkey);
 360 }
 361
 362 int ASYNC_init_thread(size_t max_size, size_t init_size)
 363 {
 364     async_pool *pool;
 365     size_t curr_size = 0;
 366
 367     if (init_size > max_size) {
 368         ASYNCerr(ASYNC_F_ASYNC_INIT_THREAD, ASYNC_R_INVALID_POOL_SIZE);
 369         return 0;
 370     }
 371
 372     if (!OPENSSL_init_crypto(OPENSSL_INIT_ASYNC, NULL)) {
 373         return 0;
 374     }
 375     if (!ossl_init_thread_start(OPENSSL_INIT_THREAD_ASYNC)) {
 376         return 0;
 377     }
 378
 379     pool = OPENSSL_zalloc(sizeof *pool);
 380     if (pool == NULL) {
 381         ASYNCerr(ASYNC_F_ASYNC_INIT_THREAD, ERR_R_MALLOC_FAILURE);
 382         return 0;
 383     }
 384
 385     pool->jobs = sk_ASYNC_JOB_new_null();
 386     if (pool->jobs == NULL) {
 387         ASYNCerr(ASYNC_F_ASYNC_INIT_THREAD, ERR_R_MALLOC_FAILURE);
 388         OPENSSL_free(pool);
 389         return 0;
 390     }
 391
 392     pool->max_size = max_size;
 393
 394     /* Pre-create jobs as required */
 395     while (init_size--) {
 396         ASYNC_JOB *job;
 397         job = async_job_new();
 398         if (job == NULL || !async_fibre_makecontext(&job->fibrectx)) {
 399             /*
 400              * Not actually fatal because we already created the pool, just
 401              * skip creation of any more jobs
 402              */
 403             async_job_free(job);
 404             break;
 405         }
 406         job->funcargs = NULL;
 407         sk_ASYNC_JOB_push(pool->jobs, job);
 408         curr_size++;
 409     }
 410     pool->curr_size = curr_size;
 411     if (!CRYPTO_THREAD_set_local(&poolkey, pool)) {
 412         ASYNCerr(ASYNC_F_ASYNC_INIT_THREAD, ASYNC_R_FAILED_TO_SET_POOL);
 413         goto err;
 414     }
 415
 416     return 1;
 417 err:
 418     async_free_pool_internal(pool);
 419     return 0;
 420 }
 421
 422 static void async_free_pool_internal(async_pool *pool)
 423 {
 424     if (pool == NULL)
 425         return;
 426
 427     async_empty_pool(pool);
 428     sk_ASYNC_JOB_free(pool->jobs);
 429     OPENSSL_free(pool);
 430     CRYPTO_THREAD_set_local(&poolkey, NULL);
 431     async_local_cleanup();
 432     async_ctx_free();
 433 }
 434
 435 void ASYNC_cleanup_thread(void)
 436 {
 437     async_free_pool_internal((async_pool *)CRYPTO_THREAD_get_local(&poolkey));
 438 }
 439
 440 ASYNC_JOB *ASYNC_get_current_job(void)
 441 {
 442     async_ctx *ctx;
 443
 444     ctx = async_get_ctx();
 445     if(ctx == NULL)
 446         return NULL;
 447
 448     return ctx->currjob;
 449 }
 450
 451 ASYNC_WAIT_CTX *ASYNC_get_wait_ctx(ASYNC_JOB *job)
 452 {
 453     return job->waitctx;
 454 }
 455
 456 void ASYNC_block_pause(void)
 457 {
 458     async_ctx *ctx = async_get_ctx();
 459     if (ctx == NULL || ctx->currjob == NULL) {
 460         /*
 461          * We're not in a job anyway so ignore this
 462          */
 463         return;
 464     }
 465     ctx->blocked++;
 466 }
 467
 468 void ASYNC_unblock_pause(void)
 469 {
 470     async_ctx *ctx = async_get_ctx();
 471     if (ctx == NULL || ctx->currjob == NULL) {
 472         /*
 473          * We're not in a job anyway so ignore this
 474          */
 475         return;
 476     }
 477     if(ctx->blocked > 0)
 478         ctx->blocked--;
 479 }