crypto/evp/e_aes.c

   1 /*
   2  * Copyright 2001-2016 The OpenSSL Project Authors. All Rights Reserved.
   3  *
   4  * Licensed under the OpenSSL license (the "License").  You may not use
   5  * this file except in compliance with the License.  You can obtain a copy
   6  * in the file LICENSE in the source distribution or at
   7  * https://www.openssl.org/source/license.html
   8  */
   9
  10 #include <openssl/opensslconf.h>
  11 #include <openssl/crypto.h>
  12 #include <openssl/evp.h>
  13 #include <openssl/err.h>
  14 #include <string.h>
  15 #include <assert.h>
  16 #include <openssl/aes.h>
  17 #include "internal/evp_int.h"
  18 #include "modes_lcl.h"
  19 #include <openssl/rand.h>
  20
  21 typedef struct {
  22     union {
  23         double align;
  24         AES_KEY ks;
  25     } ks;
  26     block128_f block;
  27     union {
  28         cbc128_f cbc;
  29         ctr128_f ctr;
  30     } stream;
  31 } EVP_AES_KEY;
  32
  33 typedef struct {
  34     union {
  35         double align;
  36         AES_KEY ks;
  37     } ks;                       /* AES key schedule to use */
  38     int key_set;                /* Set if key initialised */
  39     int iv_set;                 /* Set if an iv is set */
  40     GCM128_CONTEXT gcm;
  41     unsigned char *iv;          /* Temporary IV store */
  42     int ivlen;                  /* IV length */
  43     int taglen;
  44     int iv_gen;                 /* It is OK to generate IVs */
  45     int tls_aad_len;            /* TLS AAD length */
  46     ctr128_f ctr;
  47 } EVP_AES_GCM_CTX;
  48
  49 typedef struct {
  50     union {
  51         double align;
  52         AES_KEY ks;
  53     } ks1, ks2;                 /* AES key schedules to use */
  54     XTS128_CONTEXT xts;
  55     void (*stream) (const unsigned char *in,
  56                     unsigned char *out, size_t length,
  57                     const AES_KEY *key1, const AES_KEY *key2,
  58                     const unsigned char iv[16]);
  59 } EVP_AES_XTS_CTX;
  60
  61 typedef struct {
  62     union {
  63         double align;
  64         AES_KEY ks;
  65     } ks;                       /* AES key schedule to use */
  66     int key_set;                /* Set if key initialised */
  67     int iv_set;                 /* Set if an iv is set */
  68     int tag_set;                /* Set if tag is valid */
  69     int len_set;                /* Set if message length set */
  70     int L, M;                   /* L and M parameters from RFC3610 */
  71     int tls_aad_len;            /* TLS AAD length */
  72     CCM128_CONTEXT ccm;
  73     ccm128_f str;
  74 } EVP_AES_CCM_CTX;
  75
  76 #ifndef OPENSSL_NO_OCB
  77 typedef struct {
  78     union {
  79         double align;
  80         AES_KEY ks;
  81     } ksenc;                    /* AES key schedule to use for encryption */
  82     union {
  83         double align;
  84         AES_KEY ks;
  85     } ksdec;                    /* AES key schedule to use for decryption */
  86     int key_set;                /* Set if key initialised */
  87     int iv_set;                 /* Set if an iv is set */
  88     OCB128_CONTEXT ocb;
  89     unsigned char *iv;          /* Temporary IV store */
  90     unsigned char tag[16];
  91     unsigned char data_buf[16]; /* Store partial data blocks */
  92     unsigned char aad_buf[16];  /* Store partial AAD blocks */
  93     int data_buf_len;
  94     int aad_buf_len;
  95     int ivlen;                  /* IV length */
  96     int taglen;
  97 } EVP_AES_OCB_CTX;
  98 #endif
  99
 100 #define MAXBITCHUNK     ((size_t)1<<(sizeof(size_t)*8-4))
 101
 102 #ifdef VPAES_ASM
 103 int vpaes_set_encrypt_key(const unsigned char *userKey, int bits,
 104                           AES_KEY *key);
 105 int vpaes_set_decrypt_key(const unsigned char *userKey, int bits,
 106                           AES_KEY *key);
 107
 108 void vpaes_encrypt(const unsigned char *in, unsigned char *out,
 109                    const AES_KEY *key);
 110 void vpaes_decrypt(const unsigned char *in, unsigned char *out,
 111                    const AES_KEY *key);
 112
 113 void vpaes_cbc_encrypt(const unsigned char *in,
 114                        unsigned char *out,
 115                        size_t length,
 116                        const AES_KEY *key, unsigned char *ivec, int enc);
 117 #endif
 118 #ifdef BSAES_ASM
 119 void bsaes_cbc_encrypt(const unsigned char *in, unsigned char *out,
 120                        size_t length, const AES_KEY *key,
 121                        unsigned char ivec[16], int enc);
 122 void bsaes_ctr32_encrypt_blocks(const unsigned char *in, unsigned char *out,
 123                                 size_t len, const AES_KEY *key,
 124                                 const unsigned char ivec[16]);
 125 void bsaes_xts_encrypt(const unsigned char *inp, unsigned char *out,
 126                        size_t len, const AES_KEY *key1,
 127                        const AES_KEY *key2, const unsigned char iv[16]);
 128 void bsaes_xts_decrypt(const unsigned char *inp, unsigned char *out,
 129                        size_t len, const AES_KEY *key1,
 130                        const AES_KEY *key2, const unsigned char iv[16]);
 131 #endif
 132 #ifdef AES_CTR_ASM
 133 void AES_ctr32_encrypt(const unsigned char *in, unsigned char *out,
 134                        size_t blocks, const AES_KEY *key,
 135                        const unsigned char ivec[AES_BLOCK_SIZE]);
 136 #endif
 137 #ifdef AES_XTS_ASM
 138 void AES_xts_encrypt(const char *inp, char *out, size_t len,
 139                      const AES_KEY *key1, const AES_KEY *key2,
 140                      const unsigned char iv[16]);
 141 void AES_xts_decrypt(const char *inp, char *out, size_t len,
 142                      const AES_KEY *key1, const AES_KEY *key2,
 143                      const unsigned char iv[16]);
 144 #endif
 145
 146 #if defined(OPENSSL_CPUID_OBJ) && (defined(__powerpc__) || defined(__ppc__) || defined(_ARCH_PPC))
 147 # include "ppc_arch.h"
 148 # ifdef VPAES_ASM
 149 #  define VPAES_CAPABLE (OPENSSL_ppccap_P & PPC_ALTIVEC)
 150 # endif
 151 # define HWAES_CAPABLE  (OPENSSL_ppccap_P & PPC_CRYPTO207)
 152 # define HWAES_set_encrypt_key aes_p8_set_encrypt_key
 153 # define HWAES_set_decrypt_key aes_p8_set_decrypt_key
 154 # define HWAES_encrypt aes_p8_encrypt
 155 # define HWAES_decrypt aes_p8_decrypt
 156 # define HWAES_cbc_encrypt aes_p8_cbc_encrypt
 157 # define HWAES_ctr32_encrypt_blocks aes_p8_ctr32_encrypt_blocks
 158 #endif
 159
 160 #if     defined(AES_ASM) && !defined(I386_ONLY) &&      (  \
 161         ((defined(__i386)       || defined(__i386__)    || \
 162           defined(_M_IX86)) && defined(OPENSSL_IA32_SSE2))|| \
 163         defined(__x86_64)       || defined(__x86_64__)  || \
 164         defined(_M_AMD64)       || defined(_M_X64)      )
 165
 166 extern unsigned int OPENSSL_ia32cap_P[];
 167
 168 # ifdef VPAES_ASM
 169 #  define VPAES_CAPABLE   (OPENSSL_ia32cap_P[1]&(1<<(41-32)))
 170 # endif
 171 # ifdef BSAES_ASM
 172 #  define BSAES_CAPABLE   (OPENSSL_ia32cap_P[1]&(1<<(41-32)))
 173 # endif
 174 /*
 175  * AES-NI section
 176  */
 177 # define AESNI_CAPABLE   (OPENSSL_ia32cap_P[1]&(1<<(57-32)))
 178
 179 int aesni_set_encrypt_key(const unsigned char *userKey, int bits,
 180                           AES_KEY *key);
 181 int aesni_set_decrypt_key(const unsigned char *userKey, int bits,
 182                           AES_KEY *key);
 183
 184 void aesni_encrypt(const unsigned char *in, unsigned char *out,
 185                    const AES_KEY *key);
 186 void aesni_decrypt(const unsigned char *in, unsigned char *out,
 187                    const AES_KEY *key);
 188
 189 void aesni_ecb_encrypt(const unsigned char *in,
 190                        unsigned char *out,
 191                        size_t length, const AES_KEY *key, int enc);
 192 void aesni_cbc_encrypt(const unsigned char *in,
 193                        unsigned char *out,
 194                        size_t length,
 195                        const AES_KEY *key, unsigned char *ivec, int enc);
 196
 197 void aesni_ctr32_encrypt_blocks(const unsigned char *in,
 198                                 unsigned char *out,
 199                                 size_t blocks,
 200                                 const void *key, const unsigned char *ivec);
 201
 202 void aesni_xts_encrypt(const unsigned char *in,
 203                        unsigned char *out,
 204                        size_t length,
 205                        const AES_KEY *key1, const AES_KEY *key2,
 206                        const unsigned char iv[16]);
 207
 208 void aesni_xts_decrypt(const unsigned char *in,
 209                        unsigned char *out,
 210                        size_t length,
 211                        const AES_KEY *key1, const AES_KEY *key2,
 212                        const unsigned char iv[16]);
 213
 214 void aesni_ccm64_encrypt_blocks(const unsigned char *in,
 215                                 unsigned char *out,
 216                                 size_t blocks,
 217                                 const void *key,
 218                                 const unsigned char ivec[16],
 219                                 unsigned char cmac[16]);
 220
 221 void aesni_ccm64_decrypt_blocks(const unsigned char *in,
 222                                 unsigned char *out,
 223                                 size_t blocks,
 224                                 const void *key,
 225                                 const unsigned char ivec[16],
 226                                 unsigned char cmac[16]);
 227
 228 # if defined(__x86_64) || defined(__x86_64__) || defined(_M_AMD64) || defined(_M_X64)
 229 size_t aesni_gcm_encrypt(const unsigned char *in,
 230                          unsigned char *out,
 231                          size_t len,
 232                          const void *key, unsigned char ivec[16], u64 *Xi);
 233 #  define AES_gcm_encrypt aesni_gcm_encrypt
 234 size_t aesni_gcm_decrypt(const unsigned char *in,
 235                          unsigned char *out,
 236                          size_t len,
 237                          const void *key, unsigned char ivec[16], u64 *Xi);
 238 #  define AES_gcm_decrypt aesni_gcm_decrypt
 239 void gcm_ghash_avx(u64 Xi[2], const u128 Htable[16], const u8 *in,
 240                    size_t len);
 241 #  define AES_GCM_ASM(gctx)       (gctx->ctr==aesni_ctr32_encrypt_blocks && \
 242                                  gctx->gcm.ghash==gcm_ghash_avx)
 243 #  define AES_GCM_ASM2(gctx)      (gctx->gcm.block==(block128_f)aesni_encrypt && \
 244                                  gctx->gcm.ghash==gcm_ghash_avx)
 245 #  undef AES_GCM_ASM2          /* minor size optimization */
 246 # endif
 247
 248 static int aesni_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
 249                           const unsigned char *iv, int enc)
 250 {
 251     int ret, mode;
 252     EVP_AES_KEY *dat = EVP_C_DATA(EVP_AES_KEY,ctx);
 253
 254     mode = EVP_CIPHER_CTX_mode(ctx);
 255     if ((mode == EVP_CIPH_ECB_MODE || mode == EVP_CIPH_CBC_MODE)
 256         && !enc) {
 257         ret = aesni_set_decrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
 258                                     &dat->ks.ks);
 259         dat->block = (block128_f) aesni_decrypt;
 260         dat->stream.cbc = mode == EVP_CIPH_CBC_MODE ?
 261             (cbc128_f) aesni_cbc_encrypt : NULL;
 262     } else {
 263         ret = aesni_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
 264                                     &dat->ks.ks);
 265         dat->block = (block128_f) aesni_encrypt;
 266         if (mode == EVP_CIPH_CBC_MODE)
 267             dat->stream.cbc = (cbc128_f) aesni_cbc_encrypt;
 268         else if (mode == EVP_CIPH_CTR_MODE)
 269             dat->stream.ctr = (ctr128_f) aesni_ctr32_encrypt_blocks;
 270         else
 271             dat->stream.cbc = NULL;
 272     }
 273
 274     if (ret < 0) {
 275         EVPerr(EVP_F_AESNI_INIT_KEY, EVP_R_AES_KEY_SETUP_FAILED);
 276         return 0;
 277     }
 278
 279     return 1;
 280 }
 281
 282 static int aesni_cbc_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
 283                             const unsigned char *in, size_t len)
 284 {
 285     aesni_cbc_encrypt(in, out, len, &EVP_C_DATA(EVP_AES_KEY,ctx)->ks.ks,
 286                       EVP_CIPHER_CTX_iv_noconst(ctx),
 287                       EVP_CIPHER_CTX_encrypting(ctx));
 288
 289     return 1;
 290 }
 291
 292 static int aesni_ecb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
 293                             const unsigned char *in, size_t len)
 294 {
 295     size_t bl = EVP_CIPHER_CTX_block_size(ctx);
 296
 297     if (len < bl)
 298         return 1;
 299
 300     aesni_ecb_encrypt(in, out, len, &EVP_C_DATA(EVP_AES_KEY,ctx)->ks.ks,
 301                       EVP_CIPHER_CTX_encrypting(ctx));
 302
 303     return 1;
 304 }
 305
 306 # define aesni_ofb_cipher aes_ofb_cipher
 307 static int aesni_ofb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
 308                             const unsigned char *in, size_t len);
 309
 310 # define aesni_cfb_cipher aes_cfb_cipher
 311 static int aesni_cfb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
 312                             const unsigned char *in, size_t len);
 313
 314 # define aesni_cfb8_cipher aes_cfb8_cipher
 315 static int aesni_cfb8_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
 316                              const unsigned char *in, size_t len);
 317
 318 # define aesni_cfb1_cipher aes_cfb1_cipher
 319 static int aesni_cfb1_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
 320                              const unsigned char *in, size_t len);
 321
 322 # define aesni_ctr_cipher aes_ctr_cipher
 323 static int aesni_ctr_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
 324                             const unsigned char *in, size_t len);
 325
 326 static int aesni_gcm_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
 327                               const unsigned char *iv, int enc)
 328 {
 329     EVP_AES_GCM_CTX *gctx = EVP_C_DATA(EVP_AES_GCM_CTX,ctx);
 330     if (!iv && !key)
 331         return 1;
 332     if (key) {
 333         aesni_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
 334                               &gctx->ks.ks);
 335         CRYPTO_gcm128_init(&gctx->gcm, &gctx->ks, (block128_f) aesni_encrypt);
 336         gctx->ctr = (ctr128_f) aesni_ctr32_encrypt_blocks;
 337         /*
 338          * If we have an iv can set it directly, otherwise use saved IV.
 339          */
 340         if (iv == NULL && gctx->iv_set)
 341             iv = gctx->iv;
 342         if (iv) {
 343             CRYPTO_gcm128_setiv(&gctx->gcm, iv, gctx->ivlen);
 344             gctx->iv_set = 1;
 345         }
 346         gctx->key_set = 1;
 347     } else {
 348         /* If key set use IV, otherwise copy */
 349         if (gctx->key_set)
 350             CRYPTO_gcm128_setiv(&gctx->gcm, iv, gctx->ivlen);
 351         else
 352             memcpy(gctx->iv, iv, gctx->ivlen);
 353         gctx->iv_set = 1;
 354         gctx->iv_gen = 0;
 355     }
 356     return 1;
 357 }
 358
 359 # define aesni_gcm_cipher aes_gcm_cipher
 360 static int aesni_gcm_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
 361                             const unsigned char *in, size_t len);
 362
 363 static int aesni_xts_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
 364                               const unsigned char *iv, int enc)
 365 {
 366     EVP_AES_XTS_CTX *xctx = EVP_C_DATA(EVP_AES_XTS_CTX,ctx);
 367     if (!iv && !key)
 368         return 1;
 369
 370     if (key) {
 371         /* key_len is two AES keys */
 372         if (enc) {
 373             aesni_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 4,
 374                                   &xctx->ks1.ks);
 375             xctx->xts.block1 = (block128_f) aesni_encrypt;
 376             xctx->stream = aesni_xts_encrypt;
 377         } else {
 378             aesni_set_decrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 4,
 379                                   &xctx->ks1.ks);
 380             xctx->xts.block1 = (block128_f) aesni_decrypt;
 381             xctx->stream = aesni_xts_decrypt;
 382         }
 383
 384         aesni_set_encrypt_key(key + EVP_CIPHER_CTX_key_length(ctx) / 2,
 385                               EVP_CIPHER_CTX_key_length(ctx) * 4,
 386                               &xctx->ks2.ks);
 387         xctx->xts.block2 = (block128_f) aesni_encrypt;
 388
 389         xctx->xts.key1 = &xctx->ks1;
 390     }
 391
 392     if (iv) {
 393         xctx->xts.key2 = &xctx->ks2;
 394         memcpy(EVP_CIPHER_CTX_iv_noconst(ctx), iv, 16);
 395     }
 396
 397     return 1;
 398 }
 399
 400 # define aesni_xts_cipher aes_xts_cipher
 401 static int aesni_xts_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
 402                             const unsigned char *in, size_t len);
 403
 404 static int aesni_ccm_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
 405                               const unsigned char *iv, int enc)
 406 {
 407     EVP_AES_CCM_CTX *cctx = EVP_C_DATA(EVP_AES_CCM_CTX,ctx);
 408     if (!iv && !key)
 409         return 1;
 410     if (key) {
 411         aesni_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
 412                               &cctx->ks.ks);
 413         CRYPTO_ccm128_init(&cctx->ccm, cctx->M, cctx->L,
 414                            &cctx->ks, (block128_f) aesni_encrypt);
 415         cctx->str = enc ? (ccm128_f) aesni_ccm64_encrypt_blocks :
 416             (ccm128_f) aesni_ccm64_decrypt_blocks;
 417         cctx->key_set = 1;
 418     }
 419     if (iv) {
 420         memcpy(EVP_CIPHER_CTX_iv_noconst(ctx), iv, 15 - cctx->L);
 421         cctx->iv_set = 1;
 422     }
 423     return 1;
 424 }
 425
 426 # define aesni_ccm_cipher aes_ccm_cipher
 427 static int aesni_ccm_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
 428                             const unsigned char *in, size_t len);
 429
 430 # ifndef OPENSSL_NO_OCB
 431 void aesni_ocb_encrypt(const unsigned char *in, unsigned char *out,
 432                        size_t blocks, const void *key,
 433                        size_t start_block_num,
 434                        unsigned char offset_i[16],
 435                        const unsigned char L_[][16],
 436                        unsigned char checksum[16]);
 437 void aesni_ocb_decrypt(const unsigned char *in, unsigned char *out,
 438                        size_t blocks, const void *key,
 439                        size_t start_block_num,
 440                        unsigned char offset_i[16],
 441                        const unsigned char L_[][16],
 442                        unsigned char checksum[16]);
 443
 444 static int aesni_ocb_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
 445                               const unsigned char *iv, int enc)
 446 {
 447     EVP_AES_OCB_CTX *octx = EVP_C_DATA(EVP_AES_OCB_CTX,ctx);
 448     if (!iv && !key)
 449         return 1;
 450     if (key) {
 451         do {
 452             /*
 453              * We set both the encrypt and decrypt key here because decrypt
 454              * needs both. We could possibly optimise to remove setting the
 455              * decrypt for an encryption operation.
 456              */
 457             aesni_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
 458                                   &octx->ksenc.ks);
 459             aesni_set_decrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
 460                                   &octx->ksdec.ks);
 461             if (!CRYPTO_ocb128_init(&octx->ocb,
 462                                     &octx->ksenc.ks, &octx->ksdec.ks,
 463                                     (block128_f) aesni_encrypt,
 464                                     (block128_f) aesni_decrypt,
 465                                     enc ? aesni_ocb_encrypt
 466                                         : aesni_ocb_decrypt))
 467                 return 0;
 468         }
 469         while (0);
 470
 471         /*
 472          * If we have an iv we can set it directly, otherwise use saved IV.
 473          */
 474         if (iv == NULL && octx->iv_set)
 475             iv = octx->iv;
 476         if (iv) {
 477             if (CRYPTO_ocb128_setiv(&octx->ocb, iv, octx->ivlen, octx->taglen)
 478                 != 1)
 479                 return 0;
 480             octx->iv_set = 1;
 481         }
 482         octx->key_set = 1;
 483     } else {
 484         /* If key set use IV, otherwise copy */
 485         if (octx->key_set)
 486             CRYPTO_ocb128_setiv(&octx->ocb, iv, octx->ivlen, octx->taglen);
 487         else
 488             memcpy(octx->iv, iv, octx->ivlen);
 489         octx->iv_set = 1;
 490     }
 491     return 1;
 492 }
 493
 494 #  define aesni_ocb_cipher aes_ocb_cipher
 495 static int aesni_ocb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
 496                             const unsigned char *in, size_t len);
 497 # endif                        /* OPENSSL_NO_OCB */
 498
 499 # define BLOCK_CIPHER_generic(nid,keylen,blocksize,ivlen,nmode,mode,MODE,flags) \
 500 static const EVP_CIPHER aesni_##keylen##_##mode = { \
 501         nid##_##keylen##_##nmode,blocksize,keylen/8,ivlen, \
 502         flags|EVP_CIPH_##MODE##_MODE,   \
 503         aesni_init_key,                 \
 504         aesni_##mode##_cipher,          \
 505         NULL,                           \
 506         sizeof(EVP_AES_KEY),            \
 507         NULL,NULL,NULL,NULL }; \
 508 static const EVP_CIPHER aes_##keylen##_##mode = { \
 509         nid##_##keylen##_##nmode,blocksize,     \
 510         keylen/8,ivlen, \
 511         flags|EVP_CIPH_##MODE##_MODE,   \
 512         aes_init_key,                   \
 513         aes_##mode##_cipher,            \
 514         NULL,                           \
 515         sizeof(EVP_AES_KEY),            \
 516         NULL,NULL,NULL,NULL }; \
 517 const EVP_CIPHER *EVP_aes_##keylen##_##mode(void) \
 518 { return AESNI_CAPABLE?&aesni_##keylen##_##mode:&aes_##keylen##_##mode; }
 519
 520 # define BLOCK_CIPHER_custom(nid,keylen,blocksize,ivlen,mode,MODE,flags) \
 521 static const EVP_CIPHER aesni_##keylen##_##mode = { \
 522         nid##_##keylen##_##mode,blocksize, \
 523         (EVP_CIPH_##MODE##_MODE==EVP_CIPH_XTS_MODE?2:1)*keylen/8, ivlen, \
 524         flags|EVP_CIPH_##MODE##_MODE,   \
 525         aesni_##mode##_init_key,        \
 526         aesni_##mode##_cipher,          \
 527         aes_##mode##_cleanup,           \
 528         sizeof(EVP_AES_##MODE##_CTX),   \
 529         NULL,NULL,aes_##mode##_ctrl,NULL }; \
 530 static const EVP_CIPHER aes_##keylen##_##mode = { \
 531         nid##_##keylen##_##mode,blocksize, \
 532         (EVP_CIPH_##MODE##_MODE==EVP_CIPH_XTS_MODE?2:1)*keylen/8, ivlen, \
 533         flags|EVP_CIPH_##MODE##_MODE,   \
 534         aes_##mode##_init_key,          \
 535         aes_##mode##_cipher,            \
 536         aes_##mode##_cleanup,           \
 537         sizeof(EVP_AES_##MODE##_CTX),   \
 538         NULL,NULL,aes_##mode##_ctrl,NULL }; \
 539 const EVP_CIPHER *EVP_aes_##keylen##_##mode(void) \
 540 { return AESNI_CAPABLE?&aesni_##keylen##_##mode:&aes_##keylen##_##mode; }
 541
 542 #elif   defined(AES_ASM) && (defined(__sparc) || defined(__sparc__))
 543
 544 # include "sparc_arch.h"
 545
 546 extern unsigned int OPENSSL_sparcv9cap_P[];
 547
 548 /*
 549  * Initial Fujitsu SPARC64 X support
 550  */
 551 # define HWAES_CAPABLE           (OPENSSL_sparcv9cap_P[0] & SPARCV9_FJAESX)
 552 # define HWAES_set_encrypt_key aes_fx_set_encrypt_key
 553 # define HWAES_set_decrypt_key aes_fx_set_decrypt_key
 554 # define HWAES_encrypt aes_fx_encrypt
 555 # define HWAES_decrypt aes_fx_decrypt
 556
 557 # define SPARC_AES_CAPABLE       (OPENSSL_sparcv9cap_P[1] & CFR_AES)
 558
 559 void aes_t4_set_encrypt_key(const unsigned char *key, int bits, AES_KEY *ks);
 560 void aes_t4_set_decrypt_key(const unsigned char *key, int bits, AES_KEY *ks);
 561 void aes_t4_encrypt(const unsigned char *in, unsigned char *out,
 562                     const AES_KEY *key);
 563 void aes_t4_decrypt(const unsigned char *in, unsigned char *out,
 564                     const AES_KEY *key);
 565 /*
 566  * Key-length specific subroutines were chosen for following reason.
 567  * Each SPARC T4 core can execute up to 8 threads which share core's
 568  * resources. Loading as much key material to registers allows to
 569  * minimize references to shared memory interface, as well as amount
 570  * of instructions in inner loops [much needed on T4]. But then having
 571  * non-key-length specific routines would require conditional branches
 572  * either in inner loops or on subroutines' entries. Former is hardly
 573  * acceptable, while latter means code size increase to size occupied
 574  * by multiple key-length specific subroutines, so why fight?
 575  */
 576 void aes128_t4_cbc_encrypt(const unsigned char *in, unsigned char *out,
 577                            size_t len, const AES_KEY *key,
 578                            unsigned char *ivec);
 579 void aes128_t4_cbc_decrypt(const unsigned char *in, unsigned char *out,
 580                            size_t len, const AES_KEY *key,
 581                            unsigned char *ivec);
 582 void aes192_t4_cbc_encrypt(const unsigned char *in, unsigned char *out,
 583                            size_t len, const AES_KEY *key,
 584                            unsigned char *ivec);
 585 void aes192_t4_cbc_decrypt(const unsigned char *in, unsigned char *out,
 586                            size_t len, const AES_KEY *key,
 587                            unsigned char *ivec);
 588 void aes256_t4_cbc_encrypt(const unsigned char *in, unsigned char *out,
 589                            size_t len, const AES_KEY *key,
 590                            unsigned char *ivec);
 591 void aes256_t4_cbc_decrypt(const unsigned char *in, unsigned char *out,
 592                            size_t len, const AES_KEY *key,
 593                            unsigned char *ivec);
 594 void aes128_t4_ctr32_encrypt(const unsigned char *in, unsigned char *out,
 595                              size_t blocks, const AES_KEY *key,
 596                              unsigned char *ivec);
 597 void aes192_t4_ctr32_encrypt(const unsigned char *in, unsigned char *out,
 598                              size_t blocks, const AES_KEY *key,
 599                              unsigned char *ivec);
 600 void aes256_t4_ctr32_encrypt(const unsigned char *in, unsigned char *out,
 601                              size_t blocks, const AES_KEY *key,
 602                              unsigned char *ivec);
 603 void aes128_t4_xts_encrypt(const unsigned char *in, unsigned char *out,
 604                            size_t blocks, const AES_KEY *key1,
 605                            const AES_KEY *key2, const unsigned char *ivec);
 606 void aes128_t4_xts_decrypt(const unsigned char *in, unsigned char *out,
 607                            size_t blocks, const AES_KEY *key1,
 608                            const AES_KEY *key2, const unsigned char *ivec);
 609 void aes256_t4_xts_encrypt(const unsigned char *in, unsigned char *out,
 610                            size_t blocks, const AES_KEY *key1,
 611                            const AES_KEY *key2, const unsigned char *ivec);
 612 void aes256_t4_xts_decrypt(const unsigned char *in, unsigned char *out,
 613                            size_t blocks, const AES_KEY *key1,
 614                            const AES_KEY *key2, const unsigned char *ivec);
 615
 616 static int aes_t4_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
 617                            const unsigned char *iv, int enc)
 618 {
 619     int ret, mode, bits;
 620     EVP_AES_KEY *dat = EVP_C_DATA(EVP_AES_KEY,ctx);
 621
 622     mode = EVP_CIPHER_CTX_mode(ctx);
 623     bits = EVP_CIPHER_CTX_key_length(ctx) * 8;
 624     if ((mode == EVP_CIPH_ECB_MODE || mode == EVP_CIPH_CBC_MODE)
 625         && !enc) {
 626         ret = 0;
 627         aes_t4_set_decrypt_key(key, bits, &dat->ks.ks);
 628         dat->block = (block128_f) aes_t4_decrypt;
 629         switch (bits) {
 630         case 128:
 631             dat->stream.cbc = mode == EVP_CIPH_CBC_MODE ?
 632                 (cbc128_f) aes128_t4_cbc_decrypt : NULL;
 633             break;
 634         case 192:
 635             dat->stream.cbc = mode == EVP_CIPH_CBC_MODE ?
 636                 (cbc128_f) aes192_t4_cbc_decrypt : NULL;
 637             break;
 638         case 256:
 639             dat->stream.cbc = mode == EVP_CIPH_CBC_MODE ?
 640                 (cbc128_f) aes256_t4_cbc_decrypt : NULL;
 641             break;
 642         default:
 643             ret = -1;
 644         }
 645     } else {
 646         ret = 0;
 647         aes_t4_set_encrypt_key(key, bits, &dat->ks.ks);
 648         dat->block = (block128_f) aes_t4_encrypt;
 649         switch (bits) {
 650         case 128:
 651             if (mode == EVP_CIPH_CBC_MODE)
 652                 dat->stream.cbc = (cbc128_f) aes128_t4_cbc_encrypt;
 653             else if (mode == EVP_CIPH_CTR_MODE)
 654                 dat->stream.ctr = (ctr128_f) aes128_t4_ctr32_encrypt;
 655             else
 656                 dat->stream.cbc = NULL;
 657             break;
 658         case 192:
 659             if (mode == EVP_CIPH_CBC_MODE)
 660                 dat->stream.cbc = (cbc128_f) aes192_t4_cbc_encrypt;
 661             else if (mode == EVP_CIPH_CTR_MODE)
 662                 dat->stream.ctr = (ctr128_f) aes192_t4_ctr32_encrypt;
 663             else
 664                 dat->stream.cbc = NULL;
 665             break;
 666         case 256:
 667             if (mode == EVP_CIPH_CBC_MODE)
 668                 dat->stream.cbc = (cbc128_f) aes256_t4_cbc_encrypt;
 669             else if (mode == EVP_CIPH_CTR_MODE)
 670                 dat->stream.ctr = (ctr128_f) aes256_t4_ctr32_encrypt;
 671             else
 672                 dat->stream.cbc = NULL;
 673             break;
 674         default:
 675             ret = -1;
 676         }
 677     }
 678
 679     if (ret < 0) {
 680         EVPerr(EVP_F_AES_T4_INIT_KEY, EVP_R_AES_KEY_SETUP_FAILED);
 681         return 0;
 682     }
 683
 684     return 1;
 685 }
 686
 687 # define aes_t4_cbc_cipher aes_cbc_cipher
 688 static int aes_t4_cbc_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
 689                              const unsigned char *in, size_t len);
 690
 691 # define aes_t4_ecb_cipher aes_ecb_cipher
 692 static int aes_t4_ecb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
 693                              const unsigned char *in, size_t len);
 694
 695 # define aes_t4_ofb_cipher aes_ofb_cipher
 696 static int aes_t4_ofb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
 697                              const unsigned char *in, size_t len);
 698
 699 # define aes_t4_cfb_cipher aes_cfb_cipher
 700 static int aes_t4_cfb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
 701                              const unsigned char *in, size_t len);
 702
 703 # define aes_t4_cfb8_cipher aes_cfb8_cipher
 704 static int aes_t4_cfb8_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
 705                               const unsigned char *in, size_t len);
 706
 707 # define aes_t4_cfb1_cipher aes_cfb1_cipher
 708 static int aes_t4_cfb1_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
 709                               const unsigned char *in, size_t len);
 710
 711 # define aes_t4_ctr_cipher aes_ctr_cipher
 712 static int aes_t4_ctr_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
 713                              const unsigned char *in, size_t len);
 714
 715 static int aes_t4_gcm_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
 716                                const unsigned char *iv, int enc)
 717 {
 718     EVP_AES_GCM_CTX *gctx = EVP_C_DATA(EVP_AES_GCM_CTX,ctx);
 719     if (!iv && !key)
 720         return 1;
 721     if (key) {
 722         int bits = EVP_CIPHER_CTX_key_length(ctx) * 8;
 723         aes_t4_set_encrypt_key(key, bits, &gctx->ks.ks);
 724         CRYPTO_gcm128_init(&gctx->gcm, &gctx->ks,
 725                            (block128_f) aes_t4_encrypt);
 726         switch (bits) {
 727         case 128:
 728             gctx->ctr = (ctr128_f) aes128_t4_ctr32_encrypt;
 729             break;
 730         case 192:
 731             gctx->ctr = (ctr128_f) aes192_t4_ctr32_encrypt;
 732             break;
 733         case 256:
 734             gctx->ctr = (ctr128_f) aes256_t4_ctr32_encrypt;
 735             break;
 736         default:
 737             return 0;
 738         }
 739         /*
 740          * If we have an iv can set it directly, otherwise use saved IV.
 741          */
 742         if (iv == NULL && gctx->iv_set)
 743             iv = gctx->iv;
 744         if (iv) {
 745             CRYPTO_gcm128_setiv(&gctx->gcm, iv, gctx->ivlen);
 746             gctx->iv_set = 1;
 747         }
 748         gctx->key_set = 1;
 749     } else {
 750         /* If key set use IV, otherwise copy */
 751         if (gctx->key_set)
 752             CRYPTO_gcm128_setiv(&gctx->gcm, iv, gctx->ivlen);
 753         else
 754             memcpy(gctx->iv, iv, gctx->ivlen);
 755         gctx->iv_set = 1;
 756         gctx->iv_gen = 0;
 757     }
 758     return 1;
 759 }
 760
 761 # define aes_t4_gcm_cipher aes_gcm_cipher
 762 static int aes_t4_gcm_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
 763                              const unsigned char *in, size_t len);
 764
 765 static int aes_t4_xts_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
 766                                const unsigned char *iv, int enc)
 767 {
 768     EVP_AES_XTS_CTX *xctx = EVP_C_DATA(EVP_AES_XTS_CTX,ctx);
 769     if (!iv && !key)
 770         return 1;
 771
 772     if (key) {
 773         int bits = EVP_CIPHER_CTX_key_length(ctx) * 4;
 774         xctx->stream = NULL;
 775         /* key_len is two AES keys */
 776         if (enc) {
 777             aes_t4_set_encrypt_key(key, bits, &xctx->ks1.ks);
 778             xctx->xts.block1 = (block128_f) aes_t4_encrypt;
 779             switch (bits) {
 780             case 128:
 781                 xctx->stream = aes128_t4_xts_encrypt;
 782                 break;
 783             case 256:
 784                 xctx->stream = aes256_t4_xts_encrypt;
 785                 break;
 786             default:
 787                 return 0;
 788             }
 789         } else {
 790             aes_t4_set_decrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 4,
 791                                    &xctx->ks1.ks);
 792             xctx->xts.block1 = (block128_f) aes_t4_decrypt;
 793             switch (bits) {
 794             case 128:
 795                 xctx->stream = aes128_t4_xts_decrypt;
 796                 break;
 797             case 256:
 798                 xctx->stream = aes256_t4_xts_decrypt;
 799                 break;
 800             default:
 801                 return 0;
 802             }
 803         }
 804
 805         aes_t4_set_encrypt_key(key + EVP_CIPHER_CTX_key_length(ctx) / 2,
 806                                EVP_CIPHER_CTX_key_length(ctx) * 4,
 807                                &xctx->ks2.ks);
 808         xctx->xts.block2 = (block128_f) aes_t4_encrypt;
 809
 810         xctx->xts.key1 = &xctx->ks1;
 811     }
 812
 813     if (iv) {
 814         xctx->xts.key2 = &xctx->ks2;
 815         memcpy(EVP_CIPHER_CTX_iv_noconst(ctx), iv, 16);
 816     }
 817
 818     return 1;
 819 }
 820
 821 # define aes_t4_xts_cipher aes_xts_cipher
 822 static int aes_t4_xts_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
 823                              const unsigned char *in, size_t len);
 824
 825 static int aes_t4_ccm_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
 826                                const unsigned char *iv, int enc)
 827 {
 828     EVP_AES_CCM_CTX *cctx = EVP_C_DATA(EVP_AES_CCM_CTX,ctx);
 829     if (!iv && !key)
 830         return 1;
 831     if (key) {
 832         int bits = EVP_CIPHER_CTX_key_length(ctx) * 8;
 833         aes_t4_set_encrypt_key(key, bits, &cctx->ks.ks);
 834         CRYPTO_ccm128_init(&cctx->ccm, cctx->M, cctx->L,
 835                            &cctx->ks, (block128_f) aes_t4_encrypt);
 836         cctx->str = NULL;
 837         cctx->key_set = 1;
 838     }
 839     if (iv) {
 840         memcpy(EVP_CIPHER_CTX_iv_noconst(ctx), iv, 15 - cctx->L);
 841         cctx->iv_set = 1;
 842     }
 843     return 1;
 844 }
 845
 846 # define aes_t4_ccm_cipher aes_ccm_cipher
 847 static int aes_t4_ccm_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
 848                              const unsigned char *in, size_t len);
 849
 850 # ifndef OPENSSL_NO_OCB
 851 static int aes_t4_ocb_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
 852                                const unsigned char *iv, int enc)
 853 {
 854     EVP_AES_OCB_CTX *octx = EVP_C_DATA(EVP_AES_OCB_CTX,ctx);
 855     if (!iv && !key)
 856         return 1;
 857     if (key) {
 858         do {
 859             /*
 860              * We set both the encrypt and decrypt key here because decrypt
 861              * needs both. We could possibly optimise to remove setting the
 862              * decrypt for an encryption operation.
 863              */
 864             aes_t4_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
 865                                    &octx->ksenc.ks);
 866             aes_t4_set_decrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
 867                                    &octx->ksdec.ks);
 868             if (!CRYPTO_ocb128_init(&octx->ocb,
 869                                     &octx->ksenc.ks, &octx->ksdec.ks,
 870                                     (block128_f) aes_t4_encrypt,
 871                                     (block128_f) aes_t4_decrypt,
 872                                     NULL))
 873                 return 0;
 874         }
 875         while (0);
 876
 877         /*
 878          * If we have an iv we can set it directly, otherwise use saved IV.
 879          */
 880         if (iv == NULL && octx->iv_set)
 881             iv = octx->iv;
 882         if (iv) {
 883             if (CRYPTO_ocb128_setiv(&octx->ocb, iv, octx->ivlen, octx->taglen)
 884                 != 1)
 885                 return 0;
 886             octx->iv_set = 1;
 887         }
 888         octx->key_set = 1;
 889     } else {
 890         /* If key set use IV, otherwise copy */
 891         if (octx->key_set)
 892             CRYPTO_ocb128_setiv(&octx->ocb, iv, octx->ivlen, octx->taglen);
 893         else
 894             memcpy(octx->iv, iv, octx->ivlen);
 895         octx->iv_set = 1;
 896     }
 897     return 1;
 898 }
 899
 900 #  define aes_t4_ocb_cipher aes_ocb_cipher
 901 static int aes_t4_ocb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
 902                              const unsigned char *in, size_t len);
 903 # endif                        /* OPENSSL_NO_OCB */
 904
 905 # define BLOCK_CIPHER_generic(nid,keylen,blocksize,ivlen,nmode,mode,MODE,flags) \
 906 static const EVP_CIPHER aes_t4_##keylen##_##mode = { \
 907         nid##_##keylen##_##nmode,blocksize,keylen/8,ivlen, \
 908         flags|EVP_CIPH_##MODE##_MODE,   \
 909         aes_t4_init_key,                \
 910         aes_t4_##mode##_cipher,         \
 911         NULL,                           \
 912         sizeof(EVP_AES_KEY),            \
 913         NULL,NULL,NULL,NULL }; \
 914 static const EVP_CIPHER aes_##keylen##_##mode = { \
 915         nid##_##keylen##_##nmode,blocksize,     \
 916         keylen/8,ivlen, \
 917         flags|EVP_CIPH_##MODE##_MODE,   \
 918         aes_init_key,                   \
 919         aes_##mode##_cipher,            \
 920         NULL,                           \
 921         sizeof(EVP_AES_KEY),            \
 922         NULL,NULL,NULL,NULL }; \
 923 const EVP_CIPHER *EVP_aes_##keylen##_##mode(void) \
 924 { return SPARC_AES_CAPABLE?&aes_t4_##keylen##_##mode:&aes_##keylen##_##mode; }
 925
 926 # define BLOCK_CIPHER_custom(nid,keylen,blocksize,ivlen,mode,MODE,flags) \
 927 static const EVP_CIPHER aes_t4_##keylen##_##mode = { \
 928         nid##_##keylen##_##mode,blocksize, \
 929         (EVP_CIPH_##MODE##_MODE==EVP_CIPH_XTS_MODE?2:1)*keylen/8, ivlen, \
 930         flags|EVP_CIPH_##MODE##_MODE,   \
 931         aes_t4_##mode##_init_key,       \
 932         aes_t4_##mode##_cipher,         \
 933         aes_##mode##_cleanup,           \
 934         sizeof(EVP_AES_##MODE##_CTX),   \
 935         NULL,NULL,aes_##mode##_ctrl,NULL }; \
 936 static const EVP_CIPHER aes_##keylen##_##mode = { \
 937         nid##_##keylen##_##mode,blocksize, \
 938         (EVP_CIPH_##MODE##_MODE==EVP_CIPH_XTS_MODE?2:1)*keylen/8, ivlen, \
 939         flags|EVP_CIPH_##MODE##_MODE,   \
 940         aes_##mode##_init_key,          \
 941         aes_##mode##_cipher,            \
 942         aes_##mode##_cleanup,           \
 943         sizeof(EVP_AES_##MODE##_CTX),   \
 944         NULL,NULL,aes_##mode##_ctrl,NULL }; \
 945 const EVP_CIPHER *EVP_aes_##keylen##_##mode(void) \
 946 { return SPARC_AES_CAPABLE?&aes_t4_##keylen##_##mode:&aes_##keylen##_##mode; }
 947
 948 #else
 949
 950 # define BLOCK_CIPHER_generic(nid,keylen,blocksize,ivlen,nmode,mode,MODE,flags) \
 951 static const EVP_CIPHER aes_##keylen##_##mode = { \
 952         nid##_##keylen##_##nmode,blocksize,keylen/8,ivlen, \
 953         flags|EVP_CIPH_##MODE##_MODE,   \
 954         aes_init_key,                   \
 955         aes_##mode##_cipher,            \
 956         NULL,                           \
 957         sizeof(EVP_AES_KEY),            \
 958         NULL,NULL,NULL,NULL }; \
 959 const EVP_CIPHER *EVP_aes_##keylen##_##mode(void) \
 960 { return &aes_##keylen##_##mode; }
 961
 962 # define BLOCK_CIPHER_custom(nid,keylen,blocksize,ivlen,mode,MODE,flags) \
 963 static const EVP_CIPHER aes_##keylen##_##mode = { \
 964         nid##_##keylen##_##mode,blocksize, \
 965         (EVP_CIPH_##MODE##_MODE==EVP_CIPH_XTS_MODE?2:1)*keylen/8, ivlen, \
 966         flags|EVP_CIPH_##MODE##_MODE,   \
 967         aes_##mode##_init_key,          \
 968         aes_##mode##_cipher,            \
 969         aes_##mode##_cleanup,           \
 970         sizeof(EVP_AES_##MODE##_CTX),   \
 971         NULL,NULL,aes_##mode##_ctrl,NULL }; \
 972 const EVP_CIPHER *EVP_aes_##keylen##_##mode(void) \
 973 { return &aes_##keylen##_##mode; }
 974
 975 #endif
 976
 977 #if defined(OPENSSL_CPUID_OBJ) && (defined(__arm__) || defined(__arm) || defined(__aarch64__))
 978 # include "arm_arch.h"
 979 # if __ARM_MAX_ARCH__>=7
 980 #  if defined(BSAES_ASM)
 981 #   define BSAES_CAPABLE (OPENSSL_armcap_P & ARMV7_NEON)
 982 #  endif
 983 #  if defined(VPAES_ASM)
 984 #   define VPAES_CAPABLE (OPENSSL_armcap_P & ARMV7_NEON)
 985 #  endif
 986 #  define HWAES_CAPABLE (OPENSSL_armcap_P & ARMV8_AES)
 987 #  define HWAES_set_encrypt_key aes_v8_set_encrypt_key
 988 #  define HWAES_set_decrypt_key aes_v8_set_decrypt_key
 989 #  define HWAES_encrypt aes_v8_encrypt
 990 #  define HWAES_decrypt aes_v8_decrypt
 991 #  define HWAES_cbc_encrypt aes_v8_cbc_encrypt
 992 #  define HWAES_ctr32_encrypt_blocks aes_v8_ctr32_encrypt_blocks
 993 # endif
 994 #endif
 995
 996 #if defined(HWAES_CAPABLE)
 997 int HWAES_set_encrypt_key(const unsigned char *userKey, const int bits,
 998                           AES_KEY *key);
 999 int HWAES_set_decrypt_key(const unsigned char *userKey, const int bits,
1000                           AES_KEY *key);
1001 void HWAES_encrypt(const unsigned char *in, unsigned char *out,
1002                    const AES_KEY *key);
1003 void HWAES_decrypt(const unsigned char *in, unsigned char *out,
1004                    const AES_KEY *key);
1005 void HWAES_cbc_encrypt(const unsigned char *in, unsigned char *out,
1006                        size_t length, const AES_KEY *key,
1007                        unsigned char *ivec, const int enc);
1008 void HWAES_ctr32_encrypt_blocks(const unsigned char *in, unsigned char *out,
1009                                 size_t len, const AES_KEY *key,
1010                                 const unsigned char ivec[16]);
1011 #endif
1012
1013 #define BLOCK_CIPHER_generic_pack(nid,keylen,flags)             \
1014         BLOCK_CIPHER_generic(nid,keylen,16,16,cbc,cbc,CBC,flags|EVP_CIPH_FLAG_DEFAULT_ASN1)     \
1015         BLOCK_CIPHER_generic(nid,keylen,16,0,ecb,ecb,ECB,flags|EVP_CIPH_FLAG_DEFAULT_ASN1)      \
1016         BLOCK_CIPHER_generic(nid,keylen,1,16,ofb128,ofb,OFB,flags|EVP_CIPH_FLAG_DEFAULT_ASN1)   \
1017         BLOCK_CIPHER_generic(nid,keylen,1,16,cfb128,cfb,CFB,flags|EVP_CIPH_FLAG_DEFAULT_ASN1)   \
1018         BLOCK_CIPHER_generic(nid,keylen,1,16,cfb1,cfb1,CFB,flags)       \
1019         BLOCK_CIPHER_generic(nid,keylen,1,16,cfb8,cfb8,CFB,flags)       \
1020         BLOCK_CIPHER_generic(nid,keylen,1,16,ctr,ctr,CTR,flags)
1021
1022 static int aes_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
1023                         const unsigned char *iv, int enc)
1024 {
1025     int ret, mode;
1026     EVP_AES_KEY *dat = EVP_C_DATA(EVP_AES_KEY,ctx);
1027
1028     mode = EVP_CIPHER_CTX_mode(ctx);
1029     if ((mode == EVP_CIPH_ECB_MODE || mode == EVP_CIPH_CBC_MODE)
1030         && !enc)
1031 #ifdef HWAES_CAPABLE
1032         if (HWAES_CAPABLE) {
1033             ret = HWAES_set_decrypt_key(key,
1034                                         EVP_CIPHER_CTX_key_length(ctx) * 8,
1035                                         &dat->ks.ks);
1036             dat->block = (block128_f) HWAES_decrypt;
1037             dat->stream.cbc = NULL;
1038 # ifdef HWAES_cbc_encrypt
1039             if (mode == EVP_CIPH_CBC_MODE)
1040                 dat->stream.cbc = (cbc128_f) HWAES_cbc_encrypt;
1041 # endif
1042         } else
1043 #endif
1044 #ifdef BSAES_CAPABLE
1045         if (BSAES_CAPABLE && mode == EVP_CIPH_CBC_MODE) {
1046             ret = AES_set_decrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
1047                                       &dat->ks.ks);
1048             dat->block = (block128_f) AES_decrypt;
1049             dat->stream.cbc = (cbc128_f) bsaes_cbc_encrypt;
1050         } else
1051 #endif
1052 #ifdef VPAES_CAPABLE
1053         if (VPAES_CAPABLE) {
1054             ret = vpaes_set_decrypt_key(key,
1055                                         EVP_CIPHER_CTX_key_length(ctx) * 8,
1056                                         &dat->ks.ks);
1057             dat->block = (block128_f) vpaes_decrypt;
1058             dat->stream.cbc = mode == EVP_CIPH_CBC_MODE ?
1059                 (cbc128_f) vpaes_cbc_encrypt : NULL;
1060         } else
1061 #endif
1062         {
1063             ret = AES_set_decrypt_key(key,
1064                                       EVP_CIPHER_CTX_key_length(ctx) * 8,
1065                                       &dat->ks.ks);
1066             dat->block = (block128_f) AES_decrypt;
1067             dat->stream.cbc = mode == EVP_CIPH_CBC_MODE ?
1068                 (cbc128_f) AES_cbc_encrypt : NULL;
1069     } else
1070 #ifdef HWAES_CAPABLE
1071     if (HWAES_CAPABLE) {
1072         ret = HWAES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
1073                                     &dat->ks.ks);
1074         dat->block = (block128_f) HWAES_encrypt;
1075         dat->stream.cbc = NULL;
1076 # ifdef HWAES_cbc_encrypt
1077         if (mode == EVP_CIPH_CBC_MODE)
1078             dat->stream.cbc = (cbc128_f) HWAES_cbc_encrypt;
1079         else
1080 # endif
1081 # ifdef HWAES_ctr32_encrypt_blocks
1082         if (mode == EVP_CIPH_CTR_MODE)
1083             dat->stream.ctr = (ctr128_f) HWAES_ctr32_encrypt_blocks;
1084         else
1085 # endif
1086             (void)0;            /* terminate potentially open 'else' */
1087     } else
1088 #endif
1089 #ifdef BSAES_CAPABLE
1090     if (BSAES_CAPABLE && mode == EVP_CIPH_CTR_MODE) {
1091         ret = AES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
1092                                   &dat->ks.ks);
1093         dat->block = (block128_f) AES_encrypt;
1094         dat->stream.ctr = (ctr128_f) bsaes_ctr32_encrypt_blocks;
1095     } else
1096 #endif
1097 #ifdef VPAES_CAPABLE
1098     if (VPAES_CAPABLE) {
1099         ret = vpaes_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
1100                                     &dat->ks.ks);
1101         dat->block = (block128_f) vpaes_encrypt;
1102         dat->stream.cbc = mode == EVP_CIPH_CBC_MODE ?
1103             (cbc128_f) vpaes_cbc_encrypt : NULL;
1104     } else
1105 #endif
1106     {
1107         ret = AES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
1108                                   &dat->ks.ks);
1109         dat->block = (block128_f) AES_encrypt;
1110         dat->stream.cbc = mode == EVP_CIPH_CBC_MODE ?
1111             (cbc128_f) AES_cbc_encrypt : NULL;
1112 #ifdef AES_CTR_ASM
1113         if (mode == EVP_CIPH_CTR_MODE)
1114             dat->stream.ctr = (ctr128_f) AES_ctr32_encrypt;
1115 #endif
1116     }
1117
1118     if (ret < 0) {
1119         EVPerr(EVP_F_AES_INIT_KEY, EVP_R_AES_KEY_SETUP_FAILED);
1120         return 0;
1121     }
1122
1123     return 1;
1124 }
1125
1126 static int aes_cbc_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
1127                           const unsigned char *in, size_t len)
1128 {
1129     EVP_AES_KEY *dat = EVP_C_DATA(EVP_AES_KEY,ctx);
1130
1131     if (dat->stream.cbc)
1132         (*dat->stream.cbc) (in, out, len, &dat->ks,
1133                             EVP_CIPHER_CTX_iv_noconst(ctx),
1134                             EVP_CIPHER_CTX_encrypting(ctx));
1135     else if (EVP_CIPHER_CTX_encrypting(ctx))
1136         CRYPTO_cbc128_encrypt(in, out, len, &dat->ks,
1137                               EVP_CIPHER_CTX_iv_noconst(ctx), dat->block);
1138     else
1139         CRYPTO_cbc128_decrypt(in, out, len, &dat->ks,
1140                               EVP_CIPHER_CTX_iv_noconst(ctx), dat->block);
1141
1142     return 1;
1143 }
1144
1145 static int aes_ecb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
1146                           const unsigned char *in, size_t len)
1147 {
1148     size_t bl = EVP_CIPHER_CTX_block_size(ctx);
1149     size_t i;
1150     EVP_AES_KEY *dat = EVP_C_DATA(EVP_AES_KEY,ctx);
1151
1152     if (len < bl)
1153         return 1;
1154
1155     for (i = 0, len -= bl; i <= len; i += bl)
1156         (*dat->block) (in + i, out + i, &dat->ks);
1157
1158     return 1;
1159 }
1160
1161 static int aes_ofb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
1162                           const unsigned char *in, size_t len)
1163 {
1164     EVP_AES_KEY *dat = EVP_C_DATA(EVP_AES_KEY,ctx);
1165
1166     int num = EVP_CIPHER_CTX_num(ctx);
1167     CRYPTO_ofb128_encrypt(in, out, len, &dat->ks,
1168                           EVP_CIPHER_CTX_iv_noconst(ctx), &num, dat->block);
1169     EVP_CIPHER_CTX_set_num(ctx, num);
1170     return 1;
1171 }
1172
1173 static int aes_cfb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
1174                           const unsigned char *in, size_t len)
1175 {
1176     EVP_AES_KEY *dat = EVP_C_DATA(EVP_AES_KEY,ctx);
1177
1178     int num = EVP_CIPHER_CTX_num(ctx);
1179     CRYPTO_cfb128_encrypt(in, out, len, &dat->ks,
1180                           EVP_CIPHER_CTX_iv_noconst(ctx), &num,
1181                           EVP_CIPHER_CTX_encrypting(ctx), dat->block);
1182     EVP_CIPHER_CTX_set_num(ctx, num);
1183     return 1;
1184 }
1185
1186 static int aes_cfb8_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
1187                            const unsigned char *in, size_t len)
1188 {
1189     EVP_AES_KEY *dat = EVP_C_DATA(EVP_AES_KEY,ctx);
1190
1191     int num = EVP_CIPHER_CTX_num(ctx);
1192     CRYPTO_cfb128_8_encrypt(in, out, len, &dat->ks,
1193                             EVP_CIPHER_CTX_iv_noconst(ctx), &num,
1194                             EVP_CIPHER_CTX_encrypting(ctx), dat->block);
1195     EVP_CIPHER_CTX_set_num(ctx, num);
1196     return 1;
1197 }
1198
1199 static int aes_cfb1_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
1200                            const unsigned char *in, size_t len)
1201 {
1202     EVP_AES_KEY *dat = EVP_C_DATA(EVP_AES_KEY,ctx);
1203
1204     if (EVP_CIPHER_CTX_test_flags(ctx, EVP_CIPH_FLAG_LENGTH_BITS)) {
1205         int num = EVP_CIPHER_CTX_num(ctx);
1206         CRYPTO_cfb128_1_encrypt(in, out, len, &dat->ks,
1207                                 EVP_CIPHER_CTX_iv_noconst(ctx), &num,
1208                                 EVP_CIPHER_CTX_encrypting(ctx), dat->block);
1209         EVP_CIPHER_CTX_set_num(ctx, num);
1210         return 1;
1211     }
1212
1213     while (len >= MAXBITCHUNK) {
1214         int num = EVP_CIPHER_CTX_num(ctx);
1215         CRYPTO_cfb128_1_encrypt(in, out, MAXBITCHUNK * 8, &dat->ks,
1216                                 EVP_CIPHER_CTX_iv_noconst(ctx), &num,
1217                                 EVP_CIPHER_CTX_encrypting(ctx), dat->block);
1218         EVP_CIPHER_CTX_set_num(ctx, num);
1219         len -= MAXBITCHUNK;
1220     }
1221     if (len) {
1222         int num = EVP_CIPHER_CTX_num(ctx);
1223         CRYPTO_cfb128_1_encrypt(in, out, len * 8, &dat->ks,
1224                                 EVP_CIPHER_CTX_iv_noconst(ctx), &num,
1225                                 EVP_CIPHER_CTX_encrypting(ctx), dat->block);
1226         EVP_CIPHER_CTX_set_num(ctx, num);
1227     }
1228
1229     return 1;
1230 }
1231
1232 static int aes_ctr_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
1233                           const unsigned char *in, size_t len)
1234 {
1235     unsigned int num = EVP_CIPHER_CTX_num(ctx);
1236     EVP_AES_KEY *dat = EVP_C_DATA(EVP_AES_KEY,ctx);
1237
1238     if (dat->stream.ctr)
1239         CRYPTO_ctr128_encrypt_ctr32(in, out, len, &dat->ks,
1240                                     EVP_CIPHER_CTX_iv_noconst(ctx),
1241                                     EVP_CIPHER_CTX_buf_noconst(ctx),
1242                                     &num, dat->stream.ctr);
1243     else
1244         CRYPTO_ctr128_encrypt(in, out, len, &dat->ks,
1245                               EVP_CIPHER_CTX_iv_noconst(ctx),
1246                               EVP_CIPHER_CTX_buf_noconst(ctx), &num,
1247                               dat->block);
1248     EVP_CIPHER_CTX_set_num(ctx, num);
1249     return 1;
1250 }
1251
1252 BLOCK_CIPHER_generic_pack(NID_aes, 128, 0)
1253     BLOCK_CIPHER_generic_pack(NID_aes, 192, 0)
1254     BLOCK_CIPHER_generic_pack(NID_aes, 256, 0)
1255
1256 static int aes_gcm_cleanup(EVP_CIPHER_CTX *c)
1257 {
1258     EVP_AES_GCM_CTX *gctx = EVP_C_DATA(EVP_AES_GCM_CTX,c);
1259     OPENSSL_cleanse(&gctx->gcm, sizeof(gctx->gcm));
1260     if (gctx->iv != EVP_CIPHER_CTX_iv_noconst(c))
1261         OPENSSL_free(gctx->iv);
1262     return 1;
1263 }
1264
1265 /* increment counter (64-bit int) by 1 */
1266 static void ctr64_inc(unsigned char *counter)
1267 {
1268     int n = 8;
1269     unsigned char c;
1270
1271     do {
1272         --n;
1273         c = counter[n];
1274         ++c;
1275         counter[n] = c;
1276         if (c)
1277             return;
1278     } while (n);
1279 }
1280
1281 static int aes_gcm_ctrl(EVP_CIPHER_CTX *c, int type, int arg, void *ptr)
1282 {
1283     EVP_AES_GCM_CTX *gctx = EVP_C_DATA(EVP_AES_GCM_CTX,c);
1284     switch (type) {
1285     case EVP_CTRL_INIT:
1286         gctx->key_set = 0;
1287         gctx->iv_set = 0;
1288         gctx->ivlen = EVP_CIPHER_CTX_iv_length(c);
1289         gctx->iv = EVP_CIPHER_CTX_iv_noconst(c);
1290         gctx->taglen = -1;
1291         gctx->iv_gen = 0;
1292         gctx->tls_aad_len = -1;
1293         return 1;
1294
1295     case EVP_CTRL_AEAD_SET_IVLEN:
1296         if (arg <= 0)
1297             return 0;
1298         /* Allocate memory for IV if needed */
1299         if ((arg > EVP_MAX_IV_LENGTH) && (arg > gctx->ivlen)) {
1300             if (gctx->iv != EVP_CIPHER_CTX_iv_noconst(c))
1301                 OPENSSL_free(gctx->iv);
1302             gctx->iv = OPENSSL_malloc(arg);
1303             if (gctx->iv == NULL)
1304                 return 0;
1305         }
1306         gctx->ivlen = arg;
1307         return 1;
1308
1309     case EVP_CTRL_AEAD_SET_TAG:
1310         if (arg <= 0 || arg > 16 || EVP_CIPHER_CTX_encrypting(c))
1311             return 0;
1312         memcpy(EVP_CIPHER_CTX_buf_noconst(c), ptr, arg);
1313         gctx->taglen = arg;
1314         return 1;
1315
1316     case EVP_CTRL_AEAD_GET_TAG:
1317         if (arg <= 0 || arg > 16 || !EVP_CIPHER_CTX_encrypting(c)
1318             || gctx->taglen < 0)
1319             return 0;
1320         memcpy(ptr, EVP_CIPHER_CTX_buf_noconst(c), arg);
1321         return 1;
1322
1323     case EVP_CTRL_GCM_SET_IV_FIXED:
1324         /* Special case: -1 length restores whole IV */
1325         if (arg == -1) {
1326             memcpy(gctx->iv, ptr, gctx->ivlen);
1327             gctx->iv_gen = 1;
1328             return 1;
1329         }
1330         /*
1331          * Fixed field must be at least 4 bytes and invocation field at least
1332          * 8.
1333          */
1334         if ((arg < 4) || (gctx->ivlen - arg) < 8)
1335             return 0;
1336         if (arg)
1337             memcpy(gctx->iv, ptr, arg);
1338         if (EVP_CIPHER_CTX_encrypting(c)
1339             && RAND_bytes(gctx->iv + arg, gctx->ivlen - arg) <= 0)
1340             return 0;
1341         gctx->iv_gen = 1;
1342         return 1;
1343
1344     case EVP_CTRL_GCM_IV_GEN:
1345         if (gctx->iv_gen == 0 || gctx->key_set == 0)
1346             return 0;
1347         CRYPTO_gcm128_setiv(&gctx->gcm, gctx->iv, gctx->ivlen);
1348         if (arg <= 0 || arg > gctx->ivlen)
1349             arg = gctx->ivlen;
1350         memcpy(ptr, gctx->iv + gctx->ivlen - arg, arg);
1351         /*
1352          * Invocation field will be at least 8 bytes in size and so no need
1353          * to check wrap around or increment more than last 8 bytes.
1354          */
1355         ctr64_inc(gctx->iv + gctx->ivlen - 8);
1356         gctx->iv_set = 1;
1357         return 1;
1358
1359     case EVP_CTRL_GCM_SET_IV_INV:
1360         if (gctx->iv_gen == 0 || gctx->key_set == 0
1361             || EVP_CIPHER_CTX_encrypting(c))
1362             return 0;
1363         memcpy(gctx->iv + gctx->ivlen - arg, ptr, arg);
1364         CRYPTO_gcm128_setiv(&gctx->gcm, gctx->iv, gctx->ivlen);
1365         gctx->iv_set = 1;
1366         return 1;
1367
1368     case EVP_CTRL_AEAD_TLS1_AAD:
1369         /* Save the AAD for later use */
1370         if (arg != EVP_AEAD_TLS1_AAD_LEN)
1371             return 0;
1372         memcpy(EVP_CIPHER_CTX_buf_noconst(c), ptr, arg);
1373         gctx->tls_aad_len = arg;
1374         {
1375             unsigned int len =
1376                 EVP_CIPHER_CTX_buf_noconst(c)[arg - 2] << 8
1377                 | EVP_CIPHER_CTX_buf_noconst(c)[arg - 1];
1378             /* Correct length for explicit IV */
1379             len -= EVP_GCM_TLS_EXPLICIT_IV_LEN;
1380             /* If decrypting correct for tag too */
1381             if (!EVP_CIPHER_CTX_encrypting(c))
1382                 len -= EVP_GCM_TLS_TAG_LEN;
1383             EVP_CIPHER_CTX_buf_noconst(c)[arg - 2] = len >> 8;
1384             EVP_CIPHER_CTX_buf_noconst(c)[arg - 1] = len & 0xff;
1385         }
1386         /* Extra padding: tag appended to record */
1387         return EVP_GCM_TLS_TAG_LEN;
1388
1389     case EVP_CTRL_COPY:
1390         {
1391             EVP_CIPHER_CTX *out = ptr;
1392             EVP_AES_GCM_CTX *gctx_out = EVP_C_DATA(EVP_AES_GCM_CTX,out);
1393             if (gctx->gcm.key) {
1394                 if (gctx->gcm.key != &gctx->ks)
1395                     return 0;
1396                 gctx_out->gcm.key = &gctx_out->ks;
1397             }
1398             if (gctx->iv == EVP_CIPHER_CTX_iv_noconst(c))
1399                 gctx_out->iv = EVP_CIPHER_CTX_iv_noconst(out);
1400             else {
1401                 gctx_out->iv = OPENSSL_malloc(gctx->ivlen);
1402                 if (gctx_out->iv == NULL)
1403                     return 0;
1404                 memcpy(gctx_out->iv, gctx->iv, gctx->ivlen);
1405             }
1406             return 1;
1407         }
1408
1409     default:
1410         return -1;
1411
1412     }
1413 }
1414
1415 static int aes_gcm_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
1416                             const unsigned char *iv, int enc)
1417 {
1418     EVP_AES_GCM_CTX *gctx = EVP_C_DATA(EVP_AES_GCM_CTX,ctx);
1419     if (!iv && !key)
1420         return 1;
1421     if (key) {
1422         do {
1423 #ifdef HWAES_CAPABLE
1424             if (HWAES_CAPABLE) {
1425                 HWAES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
1426                                       &gctx->ks.ks);
1427                 CRYPTO_gcm128_init(&gctx->gcm, &gctx->ks,
1428                                    (block128_f) HWAES_encrypt);
1429 # ifdef HWAES_ctr32_encrypt_blocks
1430                 gctx->ctr = (ctr128_f) HWAES_ctr32_encrypt_blocks;
1431 # else
1432                 gctx->ctr = NULL;
1433 # endif
1434                 break;
1435             } else
1436 #endif
1437 #ifdef BSAES_CAPABLE
1438             if (BSAES_CAPABLE) {
1439                 AES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
1440                                     &gctx->ks.ks);
1441                 CRYPTO_gcm128_init(&gctx->gcm, &gctx->ks,
1442                                    (block128_f) AES_encrypt);
1443                 gctx->ctr = (ctr128_f) bsaes_ctr32_encrypt_blocks;
1444                 break;
1445             } else
1446 #endif
1447 #ifdef VPAES_CAPABLE
1448             if (VPAES_CAPABLE) {
1449                 vpaes_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
1450                                       &gctx->ks.ks);
1451                 CRYPTO_gcm128_init(&gctx->gcm, &gctx->ks,
1452                                    (block128_f) vpaes_encrypt);
1453                 gctx->ctr = NULL;
1454                 break;
1455             } else
1456 #endif
1457                 (void)0;        /* terminate potentially open 'else' */
1458
1459             AES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
1460                                 &gctx->ks.ks);
1461             CRYPTO_gcm128_init(&gctx->gcm, &gctx->ks,
1462                                (block128_f) AES_encrypt);
1463 #ifdef AES_CTR_ASM
1464             gctx->ctr = (ctr128_f) AES_ctr32_encrypt;
1465 #else
1466             gctx->ctr = NULL;
1467 #endif
1468         } while (0);
1469
1470         /*
1471          * If we have an iv can set it directly, otherwise use saved IV.
1472          */
1473         if (iv == NULL && gctx->iv_set)
1474             iv = gctx->iv;
1475         if (iv) {
1476             CRYPTO_gcm128_setiv(&gctx->gcm, iv, gctx->ivlen);
1477             gctx->iv_set = 1;
1478         }
1479         gctx->key_set = 1;
1480     } else {
1481         /* If key set use IV, otherwise copy */
1482         if (gctx->key_set)
1483             CRYPTO_gcm128_setiv(&gctx->gcm, iv, gctx->ivlen);
1484         else
1485             memcpy(gctx->iv, iv, gctx->ivlen);
1486         gctx->iv_set = 1;
1487         gctx->iv_gen = 0;
1488     }
1489     return 1;
1490 }
1491
1492 /*
1493  * Handle TLS GCM packet format. This consists of the last portion of the IV
1494  * followed by the payload and finally the tag. On encrypt generate IV,
1495  * encrypt payload and write the tag. On verify retrieve IV, decrypt payload
1496  * and verify tag.
1497  */
1498
1499 static int aes_gcm_tls_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
1500                               const unsigned char *in, size_t len)
1501 {
1502     EVP_AES_GCM_CTX *gctx = EVP_C_DATA(EVP_AES_GCM_CTX,ctx);
1503     int rv = -1;
1504     /* Encrypt/decrypt must be performed in place */
1505     if (out != in
1506         || len < (EVP_GCM_TLS_EXPLICIT_IV_LEN + EVP_GCM_TLS_TAG_LEN))
1507         return -1;
1508     /*
1509      * Set IV from start of buffer or generate IV and write to start of
1510      * buffer.
1511      */
1512     if (EVP_CIPHER_CTX_ctrl(ctx, EVP_CIPHER_CTX_encrypting(ctx) ?
1513                             EVP_CTRL_GCM_IV_GEN : EVP_CTRL_GCM_SET_IV_INV,
1514                             EVP_GCM_TLS_EXPLICIT_IV_LEN, out) <= 0)
1515         goto err;
1516     /* Use saved AAD */
1517     if (CRYPTO_gcm128_aad(&gctx->gcm, EVP_CIPHER_CTX_buf_noconst(ctx),
1518                           gctx->tls_aad_len))
1519         goto err;
1520     /* Fix buffer and length to point to payload */
1521     in += EVP_GCM_TLS_EXPLICIT_IV_LEN;
1522     out += EVP_GCM_TLS_EXPLICIT_IV_LEN;
1523     len -= EVP_GCM_TLS_EXPLICIT_IV_LEN + EVP_GCM_TLS_TAG_LEN;
1524     if (EVP_CIPHER_CTX_encrypting(ctx)) {
1525         /* Encrypt payload */
1526         if (gctx->ctr) {
1527             size_t bulk = 0;
1528 #if defined(AES_GCM_ASM)
1529             if (len >= 32 && AES_GCM_ASM(gctx)) {
1530                 if (CRYPTO_gcm128_encrypt(&gctx->gcm, NULL, NULL, 0))
1531                     return -1;
1532
1533                 bulk = AES_gcm_encrypt(in, out, len,
1534                                        gctx->gcm.key,
1535                                        gctx->gcm.Yi.c, gctx->gcm.Xi.u);
1536                 gctx->gcm.len.u[1] += bulk;
1537             }
1538 #endif
1539             if (CRYPTO_gcm128_encrypt_ctr32(&gctx->gcm,
1540                                             in + bulk,
1541                                             out + bulk,
1542                                             len - bulk, gctx->ctr))
1543                 goto err;
1544         } else {
1545             size_t bulk = 0;
1546 #if defined(AES_GCM_ASM2)
1547             if (len >= 32 && AES_GCM_ASM2(gctx)) {
1548                 if (CRYPTO_gcm128_encrypt(&gctx->gcm, NULL, NULL, 0))
1549                     return -1;
1550
1551                 bulk = AES_gcm_encrypt(in, out, len,
1552                                        gctx->gcm.key,
1553                                        gctx->gcm.Yi.c, gctx->gcm.Xi.u);
1554                 gctx->gcm.len.u[1] += bulk;
1555             }
1556 #endif
1557             if (CRYPTO_gcm128_encrypt(&gctx->gcm,
1558                                       in + bulk, out + bulk, len - bulk))
1559                 goto err;
1560         }
1561         out += len;
1562         /* Finally write tag */
1563         CRYPTO_gcm128_tag(&gctx->gcm, out, EVP_GCM_TLS_TAG_LEN);
1564         rv = len + EVP_GCM_TLS_EXPLICIT_IV_LEN + EVP_GCM_TLS_TAG_LEN;
1565     } else {
1566         /* Decrypt */
1567         if (gctx->ctr) {
1568             size_t bulk = 0;
1569 #if defined(AES_GCM_ASM)
1570             if (len >= 16 && AES_GCM_ASM(gctx)) {
1571                 if (CRYPTO_gcm128_decrypt(&gctx->gcm, NULL, NULL, 0))
1572                     return -1;
1573
1574                 bulk = AES_gcm_decrypt(in, out, len,
1575                                        gctx->gcm.key,
1576                                        gctx->gcm.Yi.c, gctx->gcm.Xi.u);
1577                 gctx->gcm.len.u[1] += bulk;
1578             }
1579 #endif
1580             if (CRYPTO_gcm128_decrypt_ctr32(&gctx->gcm,
1581                                             in + bulk,
1582                                             out + bulk,
1583                                             len - bulk, gctx->ctr))
1584                 goto err;
1585         } else {
1586             size_t bulk = 0;
1587 #if defined(AES_GCM_ASM2)
1588             if (len >= 16 && AES_GCM_ASM2(gctx)) {
1589                 if (CRYPTO_gcm128_decrypt(&gctx->gcm, NULL, NULL, 0))
1590                     return -1;
1591
1592                 bulk = AES_gcm_decrypt(in, out, len,
1593                                        gctx->gcm.key,
1594                                        gctx->gcm.Yi.c, gctx->gcm.Xi.u);
1595                 gctx->gcm.len.u[1] += bulk;
1596             }
1597 #endif
1598             if (CRYPTO_gcm128_decrypt(&gctx->gcm,
1599                                       in + bulk, out + bulk, len - bulk))
1600                 goto err;
1601         }
1602         /* Retrieve tag */
1603         CRYPTO_gcm128_tag(&gctx->gcm, EVP_CIPHER_CTX_buf_noconst(ctx),
1604                           EVP_GCM_TLS_TAG_LEN);
1605         /* If tag mismatch wipe buffer */
1606         if (CRYPTO_memcmp(EVP_CIPHER_CTX_buf_noconst(ctx), in + len,
1607                           EVP_GCM_TLS_TAG_LEN)) {
1608             OPENSSL_cleanse(out, len);
1609             goto err;
1610         }
1611         rv = len;
1612     }
1613
1614  err:
1615     gctx->iv_set = 0;
1616     gctx->tls_aad_len = -1;
1617     return rv;
1618 }
1619
1620 static int aes_gcm_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
1621                           const unsigned char *in, size_t len)
1622 {
1623     EVP_AES_GCM_CTX *gctx = EVP_C_DATA(EVP_AES_GCM_CTX,ctx);
1624     /* If not set up, return error */
1625     if (!gctx->key_set)
1626         return -1;
1627
1628     if (gctx->tls_aad_len >= 0)
1629         return aes_gcm_tls_cipher(ctx, out, in, len);
1630
1631     if (!gctx->iv_set)
1632         return -1;
1633     if (in) {
1634         if (out == NULL) {
1635             if (CRYPTO_gcm128_aad(&gctx->gcm, in, len))
1636                 return -1;
1637         } else if (EVP_CIPHER_CTX_encrypting(ctx)) {
1638             if (gctx->ctr) {
1639                 size_t bulk = 0;
1640 #if defined(AES_GCM_ASM)
1641                 if (len >= 32 && AES_GCM_ASM(gctx)) {
1642                     size_t res = (16 - gctx->gcm.mres) % 16;
1643
1644                     if (CRYPTO_gcm128_encrypt(&gctx->gcm, in, out, res))
1645                         return -1;
1646
1647                     bulk = AES_gcm_encrypt(in + res,
1648                                            out + res, len - res,
1649                                            gctx->gcm.key, gctx->gcm.Yi.c,
1650                                            gctx->gcm.Xi.u);
1651                     gctx->gcm.len.u[1] += bulk;
1652                     bulk += res;
1653                 }
1654 #endif
1655                 if (CRYPTO_gcm128_encrypt_ctr32(&gctx->gcm,
1656                                                 in + bulk,
1657                                                 out + bulk,
1658                                                 len - bulk, gctx->ctr))
1659                     return -1;
1660             } else {
1661                 size_t bulk = 0;
1662 #if defined(AES_GCM_ASM2)
1663                 if (len >= 32 && AES_GCM_ASM2(gctx)) {
1664                     size_t res = (16 - gctx->gcm.mres) % 16;
1665
1666                     if (CRYPTO_gcm128_encrypt(&gctx->gcm, in, out, res))
1667                         return -1;
1668
1669                     bulk = AES_gcm_encrypt(in + res,
1670                                            out + res, len - res,
1671                                            gctx->gcm.key, gctx->gcm.Yi.c,
1672                                            gctx->gcm.Xi.u);
1673                     gctx->gcm.len.u[1] += bulk;
1674                     bulk += res;
1675                 }
1676 #endif
1677                 if (CRYPTO_gcm128_encrypt(&gctx->gcm,
1678                                           in + bulk, out + bulk, len - bulk))
1679                     return -1;
1680             }
1681         } else {
1682             if (gctx->ctr) {
1683                 size_t bulk = 0;
1684 #if defined(AES_GCM_ASM)
1685                 if (len >= 16 && AES_GCM_ASM(gctx)) {
1686                     size_t res = (16 - gctx->gcm.mres) % 16;
1687
1688                     if (CRYPTO_gcm128_decrypt(&gctx->gcm, in, out, res))
1689                         return -1;
1690
1691                     bulk = AES_gcm_decrypt(in + res,
1692                                            out + res, len - res,
1693                                            gctx->gcm.key,
1694                                            gctx->gcm.Yi.c, gctx->gcm.Xi.u);
1695                     gctx->gcm.len.u[1] += bulk;
1696                     bulk += res;
1697                 }
1698 #endif
1699                 if (CRYPTO_gcm128_decrypt_ctr32(&gctx->gcm,
1700                                                 in + bulk,
1701                                                 out + bulk,
1702                                                 len - bulk, gctx->ctr))
1703                     return -1;
1704             } else {
1705                 size_t bulk = 0;
1706 #if defined(AES_GCM_ASM2)
1707                 if (len >= 16 && AES_GCM_ASM2(gctx)) {
1708                     size_t res = (16 - gctx->gcm.mres) % 16;
1709
1710                     if (CRYPTO_gcm128_decrypt(&gctx->gcm, in, out, res))
1711                         return -1;
1712
1713                     bulk = AES_gcm_decrypt(in + res,
1714                                            out + res, len - res,
1715                                            gctx->gcm.key,
1716                                            gctx->gcm.Yi.c, gctx->gcm.Xi.u);
1717                     gctx->gcm.len.u[1] += bulk;
1718                     bulk += res;
1719                 }
1720 #endif
1721                 if (CRYPTO_gcm128_decrypt(&gctx->gcm,
1722                                           in + bulk, out + bulk, len - bulk))
1723                     return -1;
1724             }
1725         }
1726         return len;
1727     } else {
1728         if (!EVP_CIPHER_CTX_encrypting(ctx)) {
1729             if (gctx->taglen < 0)
1730                 return -1;
1731             if (CRYPTO_gcm128_finish(&gctx->gcm,
1732                                      EVP_CIPHER_CTX_buf_noconst(ctx),
1733                                      gctx->taglen) != 0)
1734                 return -1;
1735             gctx->iv_set = 0;
1736             return 0;
1737         }
1738         CRYPTO_gcm128_tag(&gctx->gcm, EVP_CIPHER_CTX_buf_noconst(ctx), 16);
1739         gctx->taglen = 16;
1740         /* Don't reuse the IV */
1741         gctx->iv_set = 0;
1742         return 0;
1743     }
1744
1745 }
1746
1747 #define CUSTOM_FLAGS    (EVP_CIPH_FLAG_DEFAULT_ASN1 \
1748                 | EVP_CIPH_CUSTOM_IV | EVP_CIPH_FLAG_CUSTOM_CIPHER \
1749                 | EVP_CIPH_ALWAYS_CALL_INIT | EVP_CIPH_CTRL_INIT \
1750                 | EVP_CIPH_CUSTOM_COPY)
1751
1752 BLOCK_CIPHER_custom(NID_aes, 128, 1, 12, gcm, GCM,
1753                     EVP_CIPH_FLAG_AEAD_CIPHER | CUSTOM_FLAGS)
1754     BLOCK_CIPHER_custom(NID_aes, 192, 1, 12, gcm, GCM,
1755                     EVP_CIPH_FLAG_AEAD_CIPHER | CUSTOM_FLAGS)
1756     BLOCK_CIPHER_custom(NID_aes, 256, 1, 12, gcm, GCM,
1757                     EVP_CIPH_FLAG_AEAD_CIPHER | CUSTOM_FLAGS)
1758
1759 static int aes_xts_ctrl(EVP_CIPHER_CTX *c, int type, int arg, void *ptr)
1760 {
1761     EVP_AES_XTS_CTX *xctx = EVP_C_DATA(EVP_AES_XTS_CTX,c);
1762     if (type == EVP_CTRL_COPY) {
1763         EVP_CIPHER_CTX *out = ptr;
1764         EVP_AES_XTS_CTX *xctx_out = EVP_C_DATA(EVP_AES_XTS_CTX,out);
1765         if (xctx->xts.key1) {
1766             if (xctx->xts.key1 != &xctx->ks1)
1767                 return 0;
1768             xctx_out->xts.key1 = &xctx_out->ks1;
1769         }
1770         if (xctx->xts.key2) {
1771             if (xctx->xts.key2 != &xctx->ks2)
1772                 return 0;
1773             xctx_out->xts.key2 = &xctx_out->ks2;
1774         }
1775         return 1;
1776     } else if (type != EVP_CTRL_INIT)
1777         return -1;
1778     /* key1 and key2 are used as an indicator both key and IV are set */
1779     xctx->xts.key1 = NULL;
1780     xctx->xts.key2 = NULL;
1781     return 1;
1782 }
1783
1784 static int aes_xts_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
1785                             const unsigned char *iv, int enc)
1786 {
1787     EVP_AES_XTS_CTX *xctx = EVP_C_DATA(EVP_AES_XTS_CTX,ctx);
1788     if (!iv && !key)
1789         return 1;
1790
1791     if (key)
1792         do {
1793 #ifdef AES_XTS_ASM
1794             xctx->stream = enc ? AES_xts_encrypt : AES_xts_decrypt;
1795 #else
1796             xctx->stream = NULL;
1797 #endif
1798             /* key_len is two AES keys */
1799 #ifdef HWAES_CAPABLE
1800             if (HWAES_CAPABLE) {
1801                 if (enc) {
1802                     HWAES_set_encrypt_key(key,
1803                                           EVP_CIPHER_CTX_key_length(ctx) * 4,
1804                                           &xctx->ks1.ks);
1805                     xctx->xts.block1 = (block128_f) HWAES_encrypt;
1806                 } else {
1807                     HWAES_set_decrypt_key(key,
1808                                           EVP_CIPHER_CTX_key_length(ctx) * 4,
1809                                           &xctx->ks1.ks);
1810                     xctx->xts.block1 = (block128_f) HWAES_decrypt;
1811                 }
1812
1813                 HWAES_set_encrypt_key(key + EVP_CIPHER_CTX_key_length(ctx) / 2,
1814                                       EVP_CIPHER_CTX_key_length(ctx) * 4,
1815                                       &xctx->ks2.ks);
1816                 xctx->xts.block2 = (block128_f) HWAES_encrypt;
1817
1818                 xctx->xts.key1 = &xctx->ks1;
1819                 break;
1820             } else
1821 #endif
1822 #ifdef BSAES_CAPABLE
1823             if (BSAES_CAPABLE)
1824                 xctx->stream = enc ? bsaes_xts_encrypt : bsaes_xts_decrypt;
1825             else
1826 #endif
1827 #ifdef VPAES_CAPABLE
1828             if (VPAES_CAPABLE) {
1829                 if (enc) {
1830                     vpaes_set_encrypt_key(key,
1831                                           EVP_CIPHER_CTX_key_length(ctx) * 4,
1832                                           &xctx->ks1.ks);
1833                     xctx->xts.block1 = (block128_f) vpaes_encrypt;
1834                 } else {
1835                     vpaes_set_decrypt_key(key,
1836                                           EVP_CIPHER_CTX_key_length(ctx) * 4,
1837                                           &xctx->ks1.ks);
1838                     xctx->xts.block1 = (block128_f) vpaes_decrypt;
1839                 }
1840
1841                 vpaes_set_encrypt_key(key + EVP_CIPHER_CTX_key_length(ctx) / 2,
1842                                       EVP_CIPHER_CTX_key_length(ctx) * 4,
1843                                       &xctx->ks2.ks);
1844                 xctx->xts.block2 = (block128_f) vpaes_encrypt;
1845
1846                 xctx->xts.key1 = &xctx->ks1;
1847                 break;
1848             } else
1849 #endif
1850                 (void)0;        /* terminate potentially open 'else' */
1851
1852             if (enc) {
1853                 AES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 4,
1854                                     &xctx->ks1.ks);
1855                 xctx->xts.block1 = (block128_f) AES_encrypt;
1856             } else {
1857                 AES_set_decrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 4,
1858                                     &xctx->ks1.ks);
1859                 xctx->xts.block1 = (block128_f) AES_decrypt;
1860             }
1861
1862             AES_set_encrypt_key(key + EVP_CIPHER_CTX_key_length(ctx) / 2,
1863                                 EVP_CIPHER_CTX_key_length(ctx) * 4,
1864                                 &xctx->ks2.ks);
1865             xctx->xts.block2 = (block128_f) AES_encrypt;
1866
1867             xctx->xts.key1 = &xctx->ks1;
1868         } while (0);
1869
1870     if (iv) {
1871         xctx->xts.key2 = &xctx->ks2;
1872         memcpy(EVP_CIPHER_CTX_iv_noconst(ctx), iv, 16);
1873     }
1874
1875     return 1;
1876 }
1877
1878 static int aes_xts_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
1879                           const unsigned char *in, size_t len)
1880 {
1881     EVP_AES_XTS_CTX *xctx = EVP_C_DATA(EVP_AES_XTS_CTX,ctx);
1882     if (!xctx->xts.key1 || !xctx->xts.key2)
1883         return 0;
1884     if (!out || !in || len < AES_BLOCK_SIZE)
1885         return 0;
1886     if (xctx->stream)
1887         (*xctx->stream) (in, out, len,
1888                          xctx->xts.key1, xctx->xts.key2,
1889                          EVP_CIPHER_CTX_iv_noconst(ctx));
1890     else if (CRYPTO_xts128_encrypt(&xctx->xts, EVP_CIPHER_CTX_iv_noconst(ctx),
1891                                    in, out, len,
1892                                    EVP_CIPHER_CTX_encrypting(ctx)))
1893         return 0;
1894     return 1;
1895 }
1896
1897 #define aes_xts_cleanup NULL
1898
1899 #define XTS_FLAGS       (EVP_CIPH_FLAG_DEFAULT_ASN1 | EVP_CIPH_CUSTOM_IV \
1900                          | EVP_CIPH_ALWAYS_CALL_INIT | EVP_CIPH_CTRL_INIT \
1901                          | EVP_CIPH_CUSTOM_COPY)
1902
1903 BLOCK_CIPHER_custom(NID_aes, 128, 1, 16, xts, XTS, XTS_FLAGS)
1904     BLOCK_CIPHER_custom(NID_aes, 256, 1, 16, xts, XTS, XTS_FLAGS)
1905
1906 static int aes_ccm_ctrl(EVP_CIPHER_CTX *c, int type, int arg, void *ptr)
1907 {
1908     EVP_AES_CCM_CTX *cctx = EVP_C_DATA(EVP_AES_CCM_CTX,c);
1909     switch (type) {
1910     case EVP_CTRL_INIT:
1911         cctx->key_set = 0;
1912         cctx->iv_set = 0;
1913         cctx->L = 8;
1914         cctx->M = 12;
1915         cctx->tag_set = 0;
1916         cctx->len_set = 0;
1917         cctx->tls_aad_len = -1;
1918         return 1;
1919
1920     case EVP_CTRL_AEAD_TLS1_AAD:
1921         /* Save the AAD for later use */
1922         if (arg != EVP_AEAD_TLS1_AAD_LEN)
1923             return 0;
1924         memcpy(EVP_CIPHER_CTX_buf_noconst(c), ptr, arg);
1925         cctx->tls_aad_len = arg;
1926         {
1927             uint16_t len =
1928                 EVP_CIPHER_CTX_buf_noconst(c)[arg - 2] << 8
1929                 | EVP_CIPHER_CTX_buf_noconst(c)[arg - 1];
1930             /* Correct length for explicit IV */
1931             len -= EVP_CCM_TLS_EXPLICIT_IV_LEN;
1932             /* If decrypting correct for tag too */
1933             if (!EVP_CIPHER_CTX_encrypting(c))
1934                 len -= cctx->M;
1935             EVP_CIPHER_CTX_buf_noconst(c)[arg - 2] = len >> 8;
1936             EVP_CIPHER_CTX_buf_noconst(c)[arg - 1] = len & 0xff;
1937         }
1938         /* Extra padding: tag appended to record */
1939         return cctx->M;
1940
1941     case EVP_CTRL_CCM_SET_IV_FIXED:
1942         /* Sanity check length */
1943         if (arg != EVP_CCM_TLS_FIXED_IV_LEN)
1944             return 0;
1945         /* Just copy to first part of IV */
1946         memcpy(EVP_CIPHER_CTX_iv_noconst(c), ptr, arg);
1947         return 1;
1948
1949     case EVP_CTRL_AEAD_SET_IVLEN:
1950         arg = 15 - arg;
1951     case EVP_CTRL_CCM_SET_L:
1952         if (arg < 2 || arg > 8)
1953             return 0;
1954         cctx->L = arg;
1955         return 1;
1956
1957     case EVP_CTRL_AEAD_SET_TAG:
1958         if ((arg & 1) || arg < 4 || arg > 16)
1959             return 0;
1960         if (EVP_CIPHER_CTX_encrypting(c) && ptr)
1961             return 0;
1962         if (ptr) {
1963             cctx->tag_set = 1;
1964             memcpy(EVP_CIPHER_CTX_buf_noconst(c), ptr, arg);
1965         }
1966         cctx->M = arg;
1967         return 1;
1968
1969     case EVP_CTRL_AEAD_GET_TAG:
1970         if (!EVP_CIPHER_CTX_encrypting(c) || !cctx->tag_set)
1971             return 0;
1972         if (!CRYPTO_ccm128_tag(&cctx->ccm, ptr, (size_t)arg))
1973             return 0;
1974         cctx->tag_set = 0;
1975         cctx->iv_set = 0;
1976         cctx->len_set = 0;
1977         return 1;
1978
1979     case EVP_CTRL_COPY:
1980         {
1981             EVP_CIPHER_CTX *out = ptr;
1982             EVP_AES_CCM_CTX *cctx_out = EVP_C_DATA(EVP_AES_CCM_CTX,out);
1983             if (cctx->ccm.key) {
1984                 if (cctx->ccm.key != &cctx->ks)
1985                     return 0;
1986                 cctx_out->ccm.key = &cctx_out->ks;
1987             }
1988             return 1;
1989         }
1990
1991     default:
1992         return -1;
1993
1994     }
1995 }
1996
1997 static int aes_ccm_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
1998                             const unsigned char *iv, int enc)
1999 {
2000     EVP_AES_CCM_CTX *cctx = EVP_C_DATA(EVP_AES_CCM_CTX,ctx);
2001     if (!iv && !key)
2002         return 1;
2003     if (key)
2004         do {
2005 #ifdef HWAES_CAPABLE
2006             if (HWAES_CAPABLE) {
2007                 HWAES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
2008                                       &cctx->ks.ks);
2009
2010                 CRYPTO_ccm128_init(&cctx->ccm, cctx->M, cctx->L,
2011                                    &cctx->ks, (block128_f) HWAES_encrypt);
2012                 cctx->str = NULL;
2013                 cctx->key_set = 1;
2014                 break;
2015             } else
2016 #endif
2017 #ifdef VPAES_CAPABLE
2018             if (VPAES_CAPABLE) {
2019                 vpaes_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
2020                                       &cctx->ks.ks);
2021                 CRYPTO_ccm128_init(&cctx->ccm, cctx->M, cctx->L,
2022                                    &cctx->ks, (block128_f) vpaes_encrypt);
2023                 cctx->str = NULL;
2024                 cctx->key_set = 1;
2025                 break;
2026             }
2027 #endif
2028             AES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
2029                                 &cctx->ks.ks);
2030             CRYPTO_ccm128_init(&cctx->ccm, cctx->M, cctx->L,
2031                                &cctx->ks, (block128_f) AES_encrypt);
2032             cctx->str = NULL;
2033             cctx->key_set = 1;
2034         } while (0);
2035     if (iv) {
2036         memcpy(EVP_CIPHER_CTX_iv_noconst(ctx), iv, 15 - cctx->L);
2037         cctx->iv_set = 1;
2038     }
2039     return 1;
2040 }
2041
2042 static int aes_ccm_tls_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
2043                               const unsigned char *in, size_t len)
2044 {
2045     EVP_AES_CCM_CTX *cctx = EVP_C_DATA(EVP_AES_CCM_CTX,ctx);
2046     CCM128_CONTEXT *ccm = &cctx->ccm;
2047     /* Encrypt/decrypt must be performed in place */
2048     if (out != in || len < (EVP_CCM_TLS_EXPLICIT_IV_LEN + (size_t)cctx->M))
2049         return -1;
2050     /* If encrypting set explicit IV from sequence number (start of AAD) */
2051     if (EVP_CIPHER_CTX_encrypting(ctx))
2052         memcpy(out, EVP_CIPHER_CTX_buf_noconst(ctx),
2053                EVP_CCM_TLS_EXPLICIT_IV_LEN);
2054     /* Get rest of IV from explicit IV */
2055     memcpy(EVP_CIPHER_CTX_iv_noconst(ctx) + EVP_CCM_TLS_FIXED_IV_LEN, in,
2056            EVP_CCM_TLS_EXPLICIT_IV_LEN);
2057     /* Correct length value */
2058     len -= EVP_CCM_TLS_EXPLICIT_IV_LEN + cctx->M;
2059     if (CRYPTO_ccm128_setiv(ccm, EVP_CIPHER_CTX_iv_noconst(ctx), 15 - cctx->L,
2060                             len))
2061             return -1;
2062     /* Use saved AAD */
2063     CRYPTO_ccm128_aad(ccm, EVP_CIPHER_CTX_buf_noconst(ctx), cctx->tls_aad_len);
2064     /* Fix buffer to point to payload */
2065     in += EVP_CCM_TLS_EXPLICIT_IV_LEN;
2066     out += EVP_CCM_TLS_EXPLICIT_IV_LEN;
2067     if (EVP_CIPHER_CTX_encrypting(ctx)) {
2068         if (cctx->str ? CRYPTO_ccm128_encrypt_ccm64(ccm, in, out, len,
2069                                                     cctx->str) :
2070             CRYPTO_ccm128_encrypt(ccm, in, out, len))
2071             return -1;
2072         if (!CRYPTO_ccm128_tag(ccm, out + len, cctx->M))
2073             return -1;
2074         return len + EVP_CCM_TLS_EXPLICIT_IV_LEN + cctx->M;
2075     } else {
2076         if (cctx->str ? !CRYPTO_ccm128_decrypt_ccm64(ccm, in, out, len,
2077                                                      cctx->str) :
2078             !CRYPTO_ccm128_decrypt(ccm, in, out, len)) {
2079             unsigned char tag[16];
2080             if (CRYPTO_ccm128_tag(ccm, tag, cctx->M)) {
2081                 if (!CRYPTO_memcmp(tag, in + len, cctx->M))
2082                     return len;
2083             }
2084         }
2085         OPENSSL_cleanse(out, len);
2086         return -1;
2087     }
2088 }
2089
2090 static int aes_ccm_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
2091                           const unsigned char *in, size_t len)
2092 {
2093     EVP_AES_CCM_CTX *cctx = EVP_C_DATA(EVP_AES_CCM_CTX,ctx);
2094     CCM128_CONTEXT *ccm = &cctx->ccm;
2095     /* If not set up, return error */
2096     if (!cctx->key_set)
2097         return -1;
2098
2099     if (cctx->tls_aad_len >= 0)
2100         return aes_ccm_tls_cipher(ctx, out, in, len);
2101
2102     if (!cctx->iv_set)
2103         return -1;
2104
2105     if (!EVP_CIPHER_CTX_encrypting(ctx) && !cctx->tag_set)
2106         return -1;
2107     if (!out) {
2108         if (!in) {
2109             if (CRYPTO_ccm128_setiv(ccm, EVP_CIPHER_CTX_iv_noconst(ctx),
2110                                     15 - cctx->L, len))
2111                 return -1;
2112             cctx->len_set = 1;
2113             return len;
2114         }
2115         /* If have AAD need message length */
2116         if (!cctx->len_set && len)
2117             return -1;
2118         CRYPTO_ccm128_aad(ccm, in, len);
2119         return len;
2120     }
2121     /* EVP_*Final() doesn't return any data */
2122     if (!in)
2123         return 0;
2124     /* If not set length yet do it */
2125     if (!cctx->len_set) {
2126         if (CRYPTO_ccm128_setiv(ccm, EVP_CIPHER_CTX_iv_noconst(ctx),
2127                                 15 - cctx->L, len))
2128             return -1;
2129         cctx->len_set = 1;
2130     }
2131     if (EVP_CIPHER_CTX_encrypting(ctx)) {
2132         if (cctx->str ? CRYPTO_ccm128_encrypt_ccm64(ccm, in, out, len,
2133                                                     cctx->str) :
2134             CRYPTO_ccm128_encrypt(ccm, in, out, len))
2135             return -1;
2136         cctx->tag_set = 1;
2137         return len;
2138     } else {
2139         int rv = -1;
2140         if (cctx->str ? !CRYPTO_ccm128_decrypt_ccm64(ccm, in, out, len,
2141                                                      cctx->str) :
2142             !CRYPTO_ccm128_decrypt(ccm, in, out, len)) {
2143             unsigned char tag[16];
2144             if (CRYPTO_ccm128_tag(ccm, tag, cctx->M)) {
2145                 if (!CRYPTO_memcmp(tag, EVP_CIPHER_CTX_buf_noconst(ctx),
2146                                    cctx->M))
2147                     rv = len;
2148             }
2149         }
2150         if (rv == -1)
2151             OPENSSL_cleanse(out, len);
2152         cctx->iv_set = 0;
2153         cctx->tag_set = 0;
2154         cctx->len_set = 0;
2155         return rv;
2156     }
2157 }
2158
2159 #define aes_ccm_cleanup NULL
2160
2161 BLOCK_CIPHER_custom(NID_aes, 128, 1, 12, ccm, CCM,
2162                     EVP_CIPH_FLAG_AEAD_CIPHER | CUSTOM_FLAGS)
2163     BLOCK_CIPHER_custom(NID_aes, 192, 1, 12, ccm, CCM,
2164                         EVP_CIPH_FLAG_AEAD_CIPHER | CUSTOM_FLAGS)
2165     BLOCK_CIPHER_custom(NID_aes, 256, 1, 12, ccm, CCM,
2166                         EVP_CIPH_FLAG_AEAD_CIPHER | CUSTOM_FLAGS)
2167
2168 typedef struct {
2169     union {
2170         double align;
2171         AES_KEY ks;
2172     } ks;
2173     /* Indicates if IV has been set */
2174     unsigned char *iv;
2175 } EVP_AES_WRAP_CTX;
2176
2177 static int aes_wrap_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
2178                              const unsigned char *iv, int enc)
2179 {
2180     EVP_AES_WRAP_CTX *wctx = EVP_C_DATA(EVP_AES_WRAP_CTX,ctx);
2181     if (!iv && !key)
2182         return 1;
2183     if (key) {
2184         if (EVP_CIPHER_CTX_encrypting(ctx))
2185             AES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
2186                                 &wctx->ks.ks);
2187         else
2188             AES_set_decrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
2189                                 &wctx->ks.ks);
2190         if (!iv)
2191             wctx->iv = NULL;
2192     }
2193     if (iv) {
2194         memcpy(EVP_CIPHER_CTX_iv_noconst(ctx), iv, EVP_CIPHER_CTX_iv_length(ctx));
2195         wctx->iv = EVP_CIPHER_CTX_iv_noconst(ctx);
2196     }
2197     return 1;
2198 }
2199
2200 static int aes_wrap_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
2201                            const unsigned char *in, size_t inlen)
2202 {
2203     EVP_AES_WRAP_CTX *wctx = EVP_C_DATA(EVP_AES_WRAP_CTX,ctx);
2204     size_t rv;
2205     /* AES wrap with padding has IV length of 4, without padding 8 */
2206     int pad = EVP_CIPHER_CTX_iv_length(ctx) == 4;
2207     /* No final operation so always return zero length */
2208     if (!in)
2209         return 0;
2210     /* Input length must always be non-zero */
2211     if (!inlen)
2212         return -1;
2213     /* If decrypting need at least 16 bytes and multiple of 8 */
2214     if (!EVP_CIPHER_CTX_encrypting(ctx) && (inlen < 16 || inlen & 0x7))
2215         return -1;
2216     /* If not padding input must be multiple of 8 */
2217     if (!pad && inlen & 0x7)
2218         return -1;
2219     if (!out) {
2220         if (EVP_CIPHER_CTX_encrypting(ctx)) {
2221             /* If padding round up to multiple of 8 */
2222             if (pad)
2223                 inlen = (inlen + 7) / 8 * 8;
2224             /* 8 byte prefix */
2225             return inlen + 8;
2226         } else {
2227             /*
2228              * If not padding output will be exactly 8 bytes smaller than
2229              * input. If padding it will be at least 8 bytes smaller but we
2230              * don't know how much.
2231              */
2232             return inlen - 8;
2233         }
2234     }
2235     if (pad) {
2236         if (EVP_CIPHER_CTX_encrypting(ctx))
2237             rv = CRYPTO_128_wrap_pad(&wctx->ks.ks, wctx->iv,
2238                                      out, in, inlen,
2239                                      (block128_f) AES_encrypt);
2240         else
2241             rv = CRYPTO_128_unwrap_pad(&wctx->ks.ks, wctx->iv,
2242                                        out, in, inlen,
2243                                        (block128_f) AES_decrypt);
2244     } else {
2245         if (EVP_CIPHER_CTX_encrypting(ctx))
2246             rv = CRYPTO_128_wrap(&wctx->ks.ks, wctx->iv,
2247                                  out, in, inlen, (block128_f) AES_encrypt);
2248         else
2249             rv = CRYPTO_128_unwrap(&wctx->ks.ks, wctx->iv,
2250                                    out, in, inlen, (block128_f) AES_decrypt);
2251     }
2252     return rv ? (int)rv : -1;
2253 }
2254
2255 #define WRAP_FLAGS      (EVP_CIPH_WRAP_MODE \
2256                 | EVP_CIPH_CUSTOM_IV | EVP_CIPH_FLAG_CUSTOM_CIPHER \
2257                 | EVP_CIPH_ALWAYS_CALL_INIT | EVP_CIPH_FLAG_DEFAULT_ASN1)
2258
2259 static const EVP_CIPHER aes_128_wrap = {
2260     NID_id_aes128_wrap,
2261     8, 16, 8, WRAP_FLAGS,
2262     aes_wrap_init_key, aes_wrap_cipher,
2263     NULL,
2264     sizeof(EVP_AES_WRAP_CTX),
2265     NULL, NULL, NULL, NULL
2266 };
2267
2268 const EVP_CIPHER *EVP_aes_128_wrap(void)
2269 {
2270     return &aes_128_wrap;
2271 }
2272
2273 static const EVP_CIPHER aes_192_wrap = {
2274     NID_id_aes192_wrap,
2275     8, 24, 8, WRAP_FLAGS,
2276     aes_wrap_init_key, aes_wrap_cipher,
2277     NULL,
2278     sizeof(EVP_AES_WRAP_CTX),
2279     NULL, NULL, NULL, NULL
2280 };
2281
2282 const EVP_CIPHER *EVP_aes_192_wrap(void)
2283 {
2284     return &aes_192_wrap;
2285 }
2286
2287 static const EVP_CIPHER aes_256_wrap = {
2288     NID_id_aes256_wrap,
2289     8, 32, 8, WRAP_FLAGS,
2290     aes_wrap_init_key, aes_wrap_cipher,
2291     NULL,
2292     sizeof(EVP_AES_WRAP_CTX),
2293     NULL, NULL, NULL, NULL
2294 };
2295
2296 const EVP_CIPHER *EVP_aes_256_wrap(void)
2297 {
2298     return &aes_256_wrap;
2299 }
2300
2301 static const EVP_CIPHER aes_128_wrap_pad = {
2302     NID_id_aes128_wrap_pad,
2303     8, 16, 4, WRAP_FLAGS,
2304     aes_wrap_init_key, aes_wrap_cipher,
2305     NULL,
2306     sizeof(EVP_AES_WRAP_CTX),
2307     NULL, NULL, NULL, NULL
2308 };
2309
2310 const EVP_CIPHER *EVP_aes_128_wrap_pad(void)
2311 {
2312     return &aes_128_wrap_pad;
2313 }
2314
2315 static const EVP_CIPHER aes_192_wrap_pad = {
2316     NID_id_aes192_wrap_pad,
2317     8, 24, 4, WRAP_FLAGS,
2318     aes_wrap_init_key, aes_wrap_cipher,
2319     NULL,
2320     sizeof(EVP_AES_WRAP_CTX),
2321     NULL, NULL, NULL, NULL
2322 };
2323
2324 const EVP_CIPHER *EVP_aes_192_wrap_pad(void)
2325 {
2326     return &aes_192_wrap_pad;
2327 }
2328
2329 static const EVP_CIPHER aes_256_wrap_pad = {
2330     NID_id_aes256_wrap_pad,
2331     8, 32, 4, WRAP_FLAGS,
2332     aes_wrap_init_key, aes_wrap_cipher,
2333     NULL,
2334     sizeof(EVP_AES_WRAP_CTX),
2335     NULL, NULL, NULL, NULL
2336 };
2337
2338 const EVP_CIPHER *EVP_aes_256_wrap_pad(void)
2339 {
2340     return &aes_256_wrap_pad;
2341 }
2342
2343 #ifndef OPENSSL_NO_OCB
2344 static int aes_ocb_ctrl(EVP_CIPHER_CTX *c, int type, int arg, void *ptr)
2345 {
2346     EVP_AES_OCB_CTX *octx = EVP_C_DATA(EVP_AES_OCB_CTX,c);
2347     EVP_CIPHER_CTX *newc;
2348     EVP_AES_OCB_CTX *new_octx;
2349
2350     switch (type) {
2351     case EVP_CTRL_INIT:
2352         octx->key_set = 0;
2353         octx->iv_set = 0;
2354         octx->ivlen = EVP_CIPHER_CTX_iv_length(c);
2355         octx->iv = EVP_CIPHER_CTX_iv_noconst(c);
2356         octx->taglen = 16;
2357         octx->data_buf_len = 0;
2358         octx->aad_buf_len = 0;
2359         return 1;
2360
2361     case EVP_CTRL_AEAD_SET_IVLEN:
2362         /* IV len must be 1 to 15 */
2363         if (arg <= 0 || arg > 15)
2364             return 0;
2365
2366         octx->ivlen = arg;
2367         return 1;
2368
2369     case EVP_CTRL_AEAD_SET_TAG:
2370         if (!ptr) {
2371             /* Tag len must be 0 to 16 */
2372             if (arg < 0 || arg > 16)
2373                 return 0;
2374
2375             octx->taglen = arg;
2376             return 1;
2377         }
2378         if (arg != octx->taglen || EVP_CIPHER_CTX_encrypting(c))
2379             return 0;
2380         memcpy(octx->tag, ptr, arg);
2381         return 1;
2382
2383     case EVP_CTRL_AEAD_GET_TAG:
2384         if (arg != octx->taglen || !EVP_CIPHER_CTX_encrypting(c))
2385             return 0;
2386
2387         memcpy(ptr, octx->tag, arg);
2388         return 1;
2389
2390     case EVP_CTRL_COPY:
2391         newc = (EVP_CIPHER_CTX *)ptr;
2392         new_octx = EVP_C_DATA(EVP_AES_OCB_CTX,newc);
2393         return CRYPTO_ocb128_copy_ctx(&new_octx->ocb, &octx->ocb,
2394                                       &new_octx->ksenc.ks,
2395                                       &new_octx->ksdec.ks);
2396
2397     default:
2398         return -1;
2399
2400     }
2401 }
2402
2403 # ifdef HWAES_CAPABLE
2404 #  ifdef HWAES_ocb_encrypt
2405 void HWAES_ocb_encrypt(const unsigned char *in, unsigned char *out,
2406                        size_t blocks, const void *key,
2407                        size_t start_block_num,
2408                        unsigned char offset_i[16],
2409                        const unsigned char L_[][16],
2410                        unsigned char checksum[16]);
2411 #  else
2412 #    define HWAES_ocb_encrypt NULL
2413 #  endif
2414 #  ifdef HWAES_ocb_decrypt
2415 void HWAES_ocb_decrypt(const unsigned char *in, unsigned char *out,
2416                        size_t blocks, const void *key,
2417                        size_t start_block_num,
2418                        unsigned char offset_i[16],
2419                        const unsigned char L_[][16],
2420                        unsigned char checksum[16]);
2421 #  else
2422 #    define HWAES_ocb_decrypt NULL
2423 #  endif
2424 # endif
2425
2426 static int aes_ocb_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
2427                             const unsigned char *iv, int enc)
2428 {
2429     EVP_AES_OCB_CTX *octx = EVP_C_DATA(EVP_AES_OCB_CTX,ctx);
2430     if (!iv && !key)
2431         return 1;
2432     if (key) {
2433         do {
2434             /*
2435              * We set both the encrypt and decrypt key here because decrypt
2436              * needs both. We could possibly optimise to remove setting the
2437              * decrypt for an encryption operation.
2438              */
2439 # ifdef HWAES_CAPABLE
2440             if (HWAES_CAPABLE) {
2441                 HWAES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
2442                                       &octx->ksenc.ks);
2443                 HWAES_set_decrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
2444                                       &octx->ksdec.ks);
2445                 if (!CRYPTO_ocb128_init(&octx->ocb,
2446                                         &octx->ksenc.ks, &octx->ksdec.ks,
2447                                         (block128_f) HWAES_encrypt,
2448                                         (block128_f) HWAES_decrypt,
2449                                         enc ? HWAES_ocb_encrypt
2450                                             : HWAES_ocb_decrypt))
2451                     return 0;
2452                 break;
2453             }
2454 # endif
2455 # ifdef VPAES_CAPABLE
2456             if (VPAES_CAPABLE) {
2457                 vpaes_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
2458                                       &octx->ksenc.ks);
2459                 vpaes_set_decrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
2460                                       &octx->ksdec.ks);
2461                 if (!CRYPTO_ocb128_init(&octx->ocb,
2462                                         &octx->ksenc.ks, &octx->ksdec.ks,
2463                                         (block128_f) vpaes_encrypt,
2464                                         (block128_f) vpaes_decrypt,
2465                                         NULL))
2466                     return 0;
2467                 break;
2468             }
2469 # endif
2470             AES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
2471                                 &octx->ksenc.ks);
2472             AES_set_decrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
2473                                 &octx->ksdec.ks);
2474             if (!CRYPTO_ocb128_init(&octx->ocb,
2475                                     &octx->ksenc.ks, &octx->ksdec.ks,
2476                                     (block128_f) AES_encrypt,
2477                                     (block128_f) AES_decrypt,
2478                                     NULL))
2479                 return 0;
2480         }
2481         while (0);
2482
2483         /*
2484          * If we have an iv we can set it directly, otherwise use saved IV.
2485          */
2486         if (iv == NULL && octx->iv_set)
2487             iv = octx->iv;
2488         if (iv) {
2489             if (CRYPTO_ocb128_setiv(&octx->ocb, iv, octx->ivlen, octx->taglen)
2490                 != 1)
2491                 return 0;
2492             octx->iv_set = 1;
2493         }
2494         octx->key_set = 1;
2495     } else {
2496         /* If key set use IV, otherwise copy */
2497         if (octx->key_set)
2498             CRYPTO_ocb128_setiv(&octx->ocb, iv, octx->ivlen, octx->taglen);
2499         else
2500             memcpy(octx->iv, iv, octx->ivlen);
2501         octx->iv_set = 1;
2502     }
2503     return 1;
2504 }
2505
2506 static int aes_ocb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
2507                           const unsigned char *in, size_t len)
2508 {
2509     unsigned char *buf;
2510     int *buf_len;
2511     int written_len = 0;
2512     size_t trailing_len;
2513     EVP_AES_OCB_CTX *octx = EVP_C_DATA(EVP_AES_OCB_CTX,ctx);
2514
2515     /* If IV or Key not set then return error */
2516     if (!octx->iv_set)
2517         return -1;
2518
2519     if (!octx->key_set)
2520         return -1;
2521
2522     if (in) {
2523         /*
2524          * Need to ensure we are only passing full blocks to low level OCB
2525          * routines. We do it here rather than in EVP_EncryptUpdate/
2526          * EVP_DecryptUpdate because we need to pass full blocks of AAD too
2527          * and those routines don't support that
2528          */
2529
2530         /* Are we dealing with AAD or normal data here? */
2531         if (out == NULL) {
2532             buf = octx->aad_buf;
2533             buf_len = &(octx->aad_buf_len);
2534         } else {
2535             buf = octx->data_buf;
2536             buf_len = &(octx->data_buf_len);
2537         }
2538
2539         /*
2540          * If we've got a partially filled buffer from a previous call then
2541          * use that data first
2542          */
2543         if (*buf_len) {
2544             unsigned int remaining;
2545
2546             remaining = 16 - (*buf_len);
2547             if (remaining > len) {
2548                 memcpy(buf + (*buf_len), in, len);
2549                 *(buf_len) += len;
2550                 return 0;
2551             }
2552             memcpy(buf + (*buf_len), in, remaining);
2553
2554             /*
2555              * If we get here we've filled the buffer, so process it
2556              */
2557             len -= remaining;
2558             in += remaining;
2559             if (out == NULL) {
2560                 if (!CRYPTO_ocb128_aad(&octx->ocb, buf, 16))
2561                     return -1;
2562             } else if (EVP_CIPHER_CTX_encrypting(ctx)) {
2563                 if (!CRYPTO_ocb128_encrypt(&octx->ocb, buf, out, 16))
2564                     return -1;
2565             } else {
2566                 if (!CRYPTO_ocb128_decrypt(&octx->ocb, buf, out, 16))
2567                     return -1;
2568             }
2569             written_len = 16;
2570             *buf_len = 0;
2571         }
2572
2573         /* Do we have a partial block to handle at the end? */
2574         trailing_len = len % 16;
2575
2576         /*
2577          * If we've got some full blocks to handle, then process these first
2578          */
2579         if (len != trailing_len) {
2580             if (out == NULL) {
2581                 if (!CRYPTO_ocb128_aad(&octx->ocb, in, len - trailing_len))
2582                     return -1;
2583             } else if (EVP_CIPHER_CTX_encrypting(ctx)) {
2584                 if (!CRYPTO_ocb128_encrypt
2585                     (&octx->ocb, in, out, len - trailing_len))
2586                     return -1;
2587             } else {
2588                 if (!CRYPTO_ocb128_decrypt
2589                     (&octx->ocb, in, out, len - trailing_len))
2590                     return -1;
2591             }
2592             written_len += len - trailing_len;
2593             in += len - trailing_len;
2594         }
2595
2596         /* Handle any trailing partial block */
2597         if (trailing_len) {
2598             memcpy(buf, in, trailing_len);
2599             *buf_len = trailing_len;
2600         }
2601
2602         return written_len;
2603     } else {
2604         /*
2605          * First of all empty the buffer of any partial block that we might
2606          * have been provided - both for data and AAD
2607          */
2608         if (octx->data_buf_len) {
2609             if (EVP_CIPHER_CTX_encrypting(ctx)) {
2610                 if (!CRYPTO_ocb128_encrypt(&octx->ocb, octx->data_buf, out,
2611                                            octx->data_buf_len))
2612                     return -1;
2613             } else {
2614                 if (!CRYPTO_ocb128_decrypt(&octx->ocb, octx->data_buf, out,
2615                                            octx->data_buf_len))
2616                     return -1;
2617             }
2618             written_len = octx->data_buf_len;
2619             octx->data_buf_len = 0;
2620         }
2621         if (octx->aad_buf_len) {
2622             if (!CRYPTO_ocb128_aad
2623                 (&octx->ocb, octx->aad_buf, octx->aad_buf_len))
2624                 return -1;
2625             octx->aad_buf_len = 0;
2626         }
2627         /* If decrypting then verify */
2628         if (!EVP_CIPHER_CTX_encrypting(ctx)) {
2629             if (octx->taglen < 0)
2630                 return -1;
2631             if (CRYPTO_ocb128_finish(&octx->ocb,
2632                                      octx->tag, octx->taglen) != 0)
2633                 return -1;
2634             octx->iv_set = 0;
2635             return written_len;
2636         }
2637         /* If encrypting then just get the tag */
2638         if (CRYPTO_ocb128_tag(&octx->ocb, octx->tag, 16) != 1)
2639             return -1;
2640         /* Don't reuse the IV */
2641         octx->iv_set = 0;
2642         return written_len;
2643     }
2644 }
2645
2646 static int aes_ocb_cleanup(EVP_CIPHER_CTX *c)
2647 {
2648     EVP_AES_OCB_CTX *octx = EVP_C_DATA(EVP_AES_OCB_CTX,c);
2649     CRYPTO_ocb128_cleanup(&octx->ocb);
2650     return 1;
2651 }
2652
2653 BLOCK_CIPHER_custom(NID_aes, 128, 16, 12, ocb, OCB,
2654                     EVP_CIPH_FLAG_AEAD_CIPHER | CUSTOM_FLAGS)
2655 BLOCK_CIPHER_custom(NID_aes, 192, 16, 12, ocb, OCB,
2656                     EVP_CIPH_FLAG_AEAD_CIPHER | CUSTOM_FLAGS)
2657 BLOCK_CIPHER_custom(NID_aes, 256, 16, 12, ocb, OCB,
2658                     EVP_CIPH_FLAG_AEAD_CIPHER | CUSTOM_FLAGS)
2659 #endif                         /* OPENSSL_NO_OCB */